吃瓜教程第3章

Lexie_Wu

已于 2023-12-17 18:59:42 修改

阅读量237

点赞数 1

文章标签：机器学习

于 2023-12-17 18:58:34 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_39413975/article/details/135046097

版权

目录

一元线性回归

为什么用直线而不用一条曲线？

正交回归 vs 线性回归

极大似然估计

线性回归中用极大似然估计

为什么是凸函数

为什么偏导求出来为最小值点

编辑多元线性回归

导出并向量化损失函数E

证明凸函数

编辑对数几率回归

极大似然估计推导编辑

编辑信息熵推导

编辑二分类线性判别分析

损失函数推导

广义特征值

广义瑞利商

一元线性回归

为什么用直线而不用一条曲线？

如果用曲线拟合存在过拟合的问题，测量点存在一定误差，用曲线连接就是把误差也考虑进去了

正交回归 vs 线性回归

正交回归：过点作与直线的垂线的距离
线性回归：同x下y与y'的距离

线性回归

目标：最小均方误差值——>用均方误差最小化进行模型求解的方法叫“最小二乘法”
损失函数：通过均方误差衡量（平方保证都是正的）

$E(w,b)=\sum_{i=1}^{m}[y_i-f(x_i)]^2$

$(w*,b*) =\mathop{argmin}_{w,b}\sum_{i=1}^{m}[y_i-f(x_i)]^2$

注： $\mathop{argmin}_{x}y$ 指使y最小时x的取值，最后输出的是x的取值而不是y的最小值

极大似然估计

找到一个参数使联合概率分布最大

求解步骤

线性回归中用极大似然估计

此时对 $\epsilon$ 的建模转换为对y的建模，均值为 (wx+b）

推导步骤：

我的理解：极大似然估计与最小二乘估计殊途同归

总结

W，b的求解

为什么是凸函数？
求偏导得出的为什么一定是最值？

为什么是凸函数

左凹右凸

左凸右凹

由一阶梯度推广到二阶海塞矩阵

海塞矩阵判凹凸性类似于一元函数中，通过求二阶导判凹凸性

顺序主子式的定义:

把2阶顺序主子式凑了个平方项得证

为什么偏导求出来为最小值点

根据偏导为0求出w【为方便代码处理，通常进行向量化】

多元线性回归

目标：

导出损失函数
求解 $\hat{w}$

导出并向量化损失函数E

$w_{d+1}$ ：扩充矩阵把常数合并进去，完全向量化

对求和符号也进行向量化

其中②为 $a^Tb = b^Ta$ ，因为 $a^Tb$ 为常数，常数转置等于本身

求解w

证明凸函数→利用凸函数的性质求解 $\hat{w}$

证明凸函数

$-\frac{\partial y^TX\hat{w}}{\partial\hat{w}}$ 和后面几个函数都是标量对向量求偏导（矩阵微分内容）

求法：

矩阵微分查询相关资料:

https://en.wikipedia.org/wiki/Matrix_calculus

求解w

对数几率回归

本质：分类算法，通过线性映射上套一个映射实现分类

$f(x)\subseteq R\rightarrow g(f(x))\subseteq (0,1)$

映射函数为: $y=\frac{1}{1+e^{-z}}$ (sigmoid函数）

为什么选取该函数

西瓜书：根据对数几率选的
拓展阅读：https://sm1les.com/2019/01/17/logistic-regression-and-maximum-entropy/

极大似然估计推导

信息熵推导

利用相对熵刻画理想分布和模拟分布的差异

总结

二分类线性判别分析

符号明确

假设现在有4个样本(x1,y1)（x2,y2)（x3,y3)（x4,y4)，前两个样本分类为1，后两个样本分类为0， $x\subseteq \mathbb{R}^n$ ， $y\subseteq \{0,1\}$
$X_0$ 表示负样本的集合， $X_1$ 表示正样本的集合；
$\mu _0$ 为负样本的特征向量， $\mu _0=\frac{x_3+x_4}{2}$ ； $\mu _1$ 为正样本的特征向量， $\mu _1=\frac{x_1+x_2}{2}$

$\sum_0$ 为负样本的协方差， $\sum_1$ 为正样本的协方差
严格定义： $\sum_0=\frac{1}{m_0}{}\mathop{\sum}_{x\subseteq X_0} (x-\mu _0)(x-\mu _0)^T$
$\sum_1=\frac{1}{m_1}{}\mathop{\sum}_{x\subseteq X_1} (x-\mu _1)(x-\mu _1)^T$
其中m0为X0中的样本个数，m1同理，西瓜书上没有m系数，不严谨，但不影响推导

算法原理

这是一个特征空间（由特征属性作为坐标轴），找一条直线，所有点垂直投影到直线上，该直线需要满足：同类的投影后尽量距离近，异类的投影后距离尽量远。若新加入一个样本“？”，根据投影判别它离正样本更近，则判定为正样本

损失函数推导

问题：怎么找到投影的这条直线?

数学化：同类样本方差尽量小，异类中心点相隔远

并非严格投影是指，本来投影是 $\mu _1cos\theta$ （ $\theta$ 为样本点与直线w上任意一点连线，和直线w的夹角），但是为了方便用内积计算，补上了直线的模长|w|

并非严格方差：前面解释过了，系数原因（但不影响最小化）

$w^Tx-w^T\mu _0$ 就是样本点的投影到中心点投影的距离，则 $w^T\sum _0w$ 就等于方差（距离的平方和）

分子：异类中心的投影距离

分母：同类样本点和中心点距离的方差

$||x||_2^2$ ：下面那个2指2范数，即向量的模长，上面那个2是平方，该项可以等效为向量的内积

w求解

也可以固定分子或者固定w，只是为了使问题可解，一般把最大化问题都转为最小化问题

$\lambda$ 为广义特征值，AX= $\lambda$ X为特征值问题，AX= $\lambda$ BX为广义特征值问题因为如果这个时候考虑约束条件，就是把w代进去设置 $\gamma$ 使w满足约束，但本质也是限制w模长，所以不考虑了

目标函数不为0说明不是最大值点，那么就是最小值点。一定存在的原因是，w就只能360度旋转，投影距离一定存在最大值最小值（该具体场景下具体分析)

广义特征值

广义瑞利商

w即为Sb相对于Sw的最大特征值（前面所说的分母固定，符合该处条件）。能使得广义特征值方程成立的就是n个广义特征向量，代入R(x)中就可以求得特征值

视频链接：

第3章-一元线性回归_哔哩哔哩_bilibili

第3章-多元线性回归_哔哩哔哩_bilibili

第3章-对数几率回归_哔哩哔哩_bilibili

第3章-二分类线性判别分析_哔哩哔哩_bilibili

博客等级

码龄8年

5
原创

55
点赞

50
收藏

38
粉丝

关注

私信

热门文章

分类专栏

机器学习 1篇

最新评论

吃瓜教程第6章
CSDN-Ada助手: 恭喜你写完了第5篇博客！看来你对“吃瓜教程”有着很多心得体会啊。不过我觉得接下来可以考虑加入一些实用的案例分析，或者是一些具体的操作步骤，这样读者们会更容易理解并且能够得到更多的启发。希望你能够继续保持创作的热情，期待你的下一篇作品！
吃瓜教程第5章
CSDN-Ada助手: 恭喜作者在博客上发布了第四篇文章，标题为“吃瓜教程第5章”。看来作者对于吃瓜教程有着深入的研究和思考，能够写出如此精彩的文章真是不容易。希望作者能够继续坚持创作，不断提升自己的写作水平，为读者带来更多有价值的内容。或许下一步可以考虑添加一些案例分析或者实际操作的经验分享，这样能够更好地帮助读者理解和应用吃瓜教程的知识。期待作者的下一篇作品，继续加油！如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5
吃瓜教程第3章
CSDN-Ada助手: 太棒了！看到你写的第二篇博客我感到非常振奋，希望你能继续保持创作的热情！关于你这篇博文的内容，我觉得你可以进一步了解一些相关的知识，比如在凸函数的求解中，除了一阶梯度推广到二阶海塞矩阵外，还可以了解到Lipschitz连续和强凸函数的概念，这些都是深入理解凸函数性质的重要内容。另外，你也可以进一步探讨海塞矩阵的应用，比如在牛顿法中的作用等等。希望这些建议能对你有所帮助，期待你更多的精彩内容！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
吃瓜教程1-2章
CSDN-Ada助手: 恭喜你开始了博客创作，标题“吃瓜教程1-2章”听起来非常有趣！希望你能继续分享更多有趣的教程内容，让读者们能够从中受益。建议你在下一篇博客中加入更多细节和实用的技巧，让读者们更好地理解和学习。加油！期待你更多精彩的作品！推荐【每天值得看】：https://bbs.csdn.net/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。