【飞桨】【李宏毅机器学习特训营】回归分类学习笔记

---

前言

本文是飞桨【李宏毅课程-机器学习】中回归、分类内容的笔记。
课程链接：https://aistudio.baidu.com/aistudio/course/introduce/1978

---

一、回归

1.回归介绍

使用回归进行预测，得到的输出是连续数值。 $$f(x)=y$$

回归步骤是：

1. 找一个函数集合(model)，就是用哪种形式的函数对x进行预测，一组参数对应一个函数。
2. 设定一个规则，描述函数的好坏(Loss 函数)，eg.$$L=\sum _n{\left({\hat{y}}^n-\left(b+\sum w_i{x}_i\right)\right)}^2$$
3. 根据规则找到最合适的函数进行预测。

过拟合：模型在训练数据上得到的误差很小，而在验证数据上得到的误差很大。
欠拟合： 模型在训练数据上得到的误差很大。

出现过拟合时，可以在损失函数中加入正则项，也就是对$w$的值作了约束，让$w$值尽量得小，使得函数$y$对输入不敏感，更平滑。$$L=L_0+\lambda \times \sum {\left(w_i\right)}^2$$
$\lambda$的取值决定了最后$y$的平滑程度，如果$\lambda$设置过大，可能会导致函数$y$过于平滑，在训练数据上的误差会变大。

2.误差

误差来源于bias和variance。

variance：某个函数$f^{\ast }$与模型中所有函数$f^{\ast }$的期望$\bar{f}$的偏离程度，也就是model中所有函数的离散程度。

bias：模型中所有函数$f^{\ast }$的期望$\bar{f}$与目标函数$\hat{f}$的偏离程度。

high bias：模型中所有函数的准确度都很低，相当于射击了100次，每次都离靶心很远。

low bias：模型中函数有一定的准确率。

high variance：模型中所有函数很分散。

low variance：模型中所有函数相似。
图片来源：李宏毅老师课件

简单模型得到大bias，小variance的可能性更大，因为模型简单，函数变化的空间不大，所以与目标函数相似的可能性会比较小。

与之相对，复杂模型得到小bias，大variance的可能性更大。
图片来源：李宏毅老师课件

下图中，横轴表示模型多项式的次数，纵轴表示误差。

图中显示，large bias，small variance造成欠拟合。small bias，large variance造成过拟合。large bias造成underfitting，large variance造成overfitting。
解决large bias：

• input中添加更多的feature
• 使用更复杂的模型

解决large variance：

• 增加训练数据量
• 正则化

二、分类

1.Probabilistic Generative Model

根据特征进行分类，得到的输出是代表它的class，eg.
$$f(x)=\{\begin{array}{ll}class1,& P\left(C_1|x\right)>0.5\\ class2,& else\end{array}$$

其中$x$属于class1的概率$P\left(C_1|x\right)$的计算如下
$$P\left(C_1|x\right)=\frac{P\left(x|C_1\right)P\left(C_1\right)}{P\left(x|C_1\right)P(C_1)+P\left(x|C_2\right)P(C_2)}$$
式子中的未知数是

• 每个class的概率——$P(C_i)$
• 从class $C_i$中得到$x$的概率——$P\left(x|C_i\right)$

$$P\left(C_i\right)=\frac{num\left(C_i\right)}{{\sum }_n\left(num\left(C_i\right)\right)}$$
$P(x|C_i)$的求解需要引入高斯分布。输入$x$从这个分布中被采样出来的几率。下图中红色圈圈中颜色最深的是中心点，越靠近中心点，被采样出来的几率越大。$\mu$ 的值决定中心点的位置，协方差矩阵 $\sum$ 决定分布的形状。
图片来源：李宏毅老师课件

使用最大似然估计确定$\mu$ 和 $\sum$ 。

图片来源：李宏毅老师课件

确定$\mu$ 和 $\sum$ 的值之后，计算 $P(x|C_i)$的值，就可以得到$x$的类别。

2.Logistic Regression

Step:1
$$f_{w,b}(x)=\{\begin{array}{ll}class1,& P\left(C_1|x\right)>0.5\\ class2,& else\end{array}$$
先对$x$进行线性组合，$z={\sum }_i{w}_i{x}_i+b$，将$z$的值投影到0，1之间。$$P\left(C_1|x\right)=\sigma (z)$$$$\sigma (z)=\frac{1}{1+e^{-z}}$$
Step:2
使用cross entropy描述函数$f_{w,b}$与label的接近程度，值越小表示越接近。
Step:3
根据corss entropy这个loss函数进行梯度下降，获得最优的参数。

---

后记

以上是飞桨课程【李宏毅课程-机器学习】部分内容的学习笔记。感谢飞桨提供平台让我进行学习，感谢群里的班主任、助教们的解答，感谢群里同学们的帮助。在这门课程中我收获了很多机器学习的知识，同时还有很多地方没有搞清楚，作业主要是参考李宏毅老师给出的答案。之后还需要回顾课程内容，在飞桨中提升战力。