白板推导-线性回归1部分笔记及推导草稿

已于 2023-10-12 11:40:23 修改
阅读量38 收藏
点赞数
文章标签： 线性回归 笔记 人工智能
于 2023-10-10 21:43:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51658447/article/details/133686921
版权

视频链接：(系列三) 线性回归1-最小二乘法及其几何意义_哔哩哔哩_bilibili

主要笔记借用：GitHub - tsyw/MachineLearningNotes: My personal notes

概率角度：最小二乘估计（LSE） 就是 噪声在高斯分布（正态分布）上的 MLE（极大似然估计法）。

贝叶斯角度：正则化的最小二乘估计（LSE）就是 噪声在高斯分布（正态分布）上的MAP（后验估计） 。

PS.上述MAP的先验也是高斯分布（正态分布）。

草稿：（字略丑）

SeaMentha
关注
白板推导3 线性回归1
08-03
例如，岭回归的先验可以视为权重服从高斯分布，其方差为 \( \lambda^{-1} \)，这使得模型更倾向于选择较小的权重。 此外，对于非满秩矩阵 \( X \) （即特征数量大于样本数量），最小二乘估计无法直接求解，此时可以...
机器学习-白板推导系列-前17讲笔记.pdf
08-23
《机器学习-白板推导系列-前17讲笔记》一文所涉及的内容，是机器学习算法学习和实践过程中的关键知识点。 首先，开篇部分一般会介绍机器学习的基本概念，包括其定义、研究范围、以及它与人工智能的关系。随后，数学...
白板推导-线性分类部分笔记及推导草稿
qq_51658447的博客
10-12 38
视频链接：(系列四) 线性分类1-背景_哔哩哔哩_bilibili主要笔记借用：GitHub - tsyw/MachineLearningNotes: My personal notes线性分类背景：
机器学习-白板推导学习笔记-3线性回归
gigglehuahua的博客
01-29 658
​ 简单描述一下线性回归，即拟合出一条最适合数据（红点们）分布的函数（蓝色直线），如下图所示： 可以将该问题描述成数学公式: ，为啥没有加噪声因素，先卖个关子。 · 介绍数据 1 LSE and MLE 最小二乘估计LSE 是将要拟合出的曲线形式，下一步求取里面的参数，这里使用最小二乘估计进行求解，损失函数为二范式的平方和（也可以理解为拟合值与真实值之差的平方和）。即： ​
机器学习-白板推导系列笔记3-线性回归
weixin_41403341的博客
07-01 40
最小二乘法及其几何意义 二，最小二乘法-概率视角-高斯噪声-MLE
机器学习-白板推导-系列（三）笔记：线性回归最小二乘法与正则化岭回归
我是一只小嵩鼠
01-12 889
本博客为（系列三）的笔记，对应的视频是：【(系列三) 线性回归1-最小二乘法及其几何意义】、【(系列三) 线性回归2-最小二乘法-概率视角-高斯噪声-MLE】、【(系列三) 线性回归3-正则化-岭回归-频率角度】、【(系列三) 线性回归4-正则化-岭回归-贝叶斯角度】。
机器学习——白板推导系列三——线性回归
qq_43507388的博客
09-28 1225
机器学习 白板推导 线性回归 频率角度 矩阵运算求解 概率角度 贝叶斯 最大似然估计 最大后验估计 岭回归
机器学习-白板推导-系列（二）笔记：高斯分布与概率
我是一只小嵩鼠
01-10 1624
本博客为（系列二）的笔记，对应的视频是：【(系列二) 数学基础-概率-高斯分布1-极大似然估计】、【(系列二) 数学基础-概率-高斯分布2-极大似然估计-无偏VS有偏】、【(系列二) 数学基础-概率-高斯分布3-从概率密度角度观察】、【(系列二) 数学基础-概率-高斯分布4-局限性】、【(系列二) 数学基础-概率-高斯分布5-求边缘概率以及条件概率】、【(系列二) 数学基础-概率-高斯分布6-求联合概率分布】。
白板推导-线性回归-岭回归-结合MLE和MAP分析
风行
09-13 500
机器学习-白板推导学习笔记-4线性分类1
gigglehuahua的博客
01-30 1636
​ 本篇文章是根据视频（link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。 线性分类概述 · 数据介绍 线性分类可以理解在线性回归的基础上利用激活函数或者降维操作对数据进行分类。线性可理解为对二维数据，能用一条直线将正、负样本分开；对三维数据，线性可分意味着能用一个平面将正、负样本分开；对n维数据，线性可分意味着能用n-1维超平面将正、负样本分开。线性分类包括硬分类和软分类（以二分类为例）：
机器学习-白板推导学习笔记-4线性分类2
gigglehuahua的博客
01-31 583
​ 本篇文章是根据视频（link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。 本篇主要介绍线性分类中的软分类模型（硬分类模型见上篇），用概率的方法进行分类。包括概率判别模型中的逻辑回归，概率生成模型中的GDA和朴素贝叶斯。 概率判别模型：根据样本数据学习出一个模型，然后对待分类数据进行概率计算，结果与0.5进行比较即可分类。 概率生成模型：根据两类样本数据学习出两个模型，然后将待分类数据带入到两个模型中，比较
白板推导4 线性分类1
08-03
逻辑回归利用sigmoid函数作为激活函数，将线性组合的输入映射到(0,1)之间，以概率形式表达分类结果。CGDA是一种概率生成模型，假设样本数据来自高斯分布，用于连续变量的分类任务。 线性回归虽然也是处理线性关系的...
C++学习笔记----6、内存管理（五）---- 智能指针（3）
weixin_71738303的博客
09-11 1155
与指向特定类型的原始指针可以转化为不同类型的指针一样，shared_ptr保存特定的类型可以转化为一个另一种类型的shared_ptr。转化shared_ptr的函数是const_pointer_cast()，dynamic_pointer_cast(),static_pointer_cast()和reinterpret_pointer_cast()。前面简要提过，当拥有共享属主的智能指针，例如shared_ptr不在活动范围或者被重置时，只有它是最后指向的智能指针时才能释放其指向的资源。
UEFI学习笔记（五）：EDK II PCD的概念、类型、使用
qq_44189622的博客
09-11 826
如果在BIOS里面有一些模块是binary方式集成进来的而这些binary又需要用到PCD（用于Binary Release），那么这些Binary集成的要用到的PCD就必须要设置为。PCD的值存在memory里面，下次启动时，上次更改的值丢失了，每次启动都是从default值开始。是存在VPD空间的（在FLASH上，只读），一般是出厂配置。如果platform是从源码build出来的，没有binary在里面的时候，PCD用的都是。作用域在一个模块中（模块级的），可以在Binary Level进行修改。
OJ在线判题系统项目笔记
今天不coding的博客
09-11 770
OJ在线判题系统项目笔记
经验笔记：Web 浏览器存储手段
qq_45831414的博客
09-10 876
以上就是使用 IndexedDB 的基本步骤。IndexedDB 提供了强大的数据存储能力，并且可以通过索引来优化数据检索性能。在实际应用中，可能还需要处理更复杂的场景，比如数据迁移、错误处理等。务必确保你的代码能够妥善处理各种异常情况。
Netty笔记03-组件Channel
最新发布
weixin_46425661的博客
09-12 724
本文主要讲解Netty中的组件Channel、ChannelFuture和CloseFuture
rk3568系统buildroot开发笔记
Reasonss的博客
09-11 1243
构建RK3568系统期间遇到的各种问题,我主要分为编译问题和运行问题
2021年SVM公式推导：线性与软间隔支持向量机详解
支持向量机（SVM）是一种强大的监督学习模型，特别适用于分类和回归分析，尤其在处理高维数据和非线性问题时表现出色。这个PPT文档主要涵盖了以下几个关键知识点： 1. 二分类问题：SVM的目标是找到一个超平面，能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值