回归(Regression)-1

参考来源：台大 李宏毅 2020机器学习深度学习课程

0、知识点

• 回归（Regression）
• 梯度下降（Gradient descent）
• 过拟合（Overfitting）
• 正则化（Regularization）

---

一、回归能做哪些事？（应用）

---

二、应用：预测宝可梦的CP（Combat Power）值

输入某一只宝可梦的所有属性值，找到一个函数f，输出其进化后的CP值
Xcp:某一只宝可梦的CP值
Xw:某一只宝可梦的重量值
…

按照机器学习的步骤依次进行：

Step1: Model

先设置函数集合 f1 , f2 , f3…
假定每一个 f 都是这个样子：$y=b+w\ast x_{cp}$
其中$b$和$w$是参数，理论上可以取任意值
可以进一步将多个待选函数 f 写成一个线性模型：$$y=b+\sum w_i{x}_i$$

Step2: Goodness of Function

Training data:

其中$x^1$表示第1个训练数据中的输入 ，${\hat{y}}^1$表示第一个训练数据的输出（真实数据）。

损失函数 Loss function

衡量一个函数的好坏 == 衡量一组参数的好坏
可以自己定义
此处定义为所有测试数据的真实值和预测值的平方的和

Step3: Best Function & Gradient Descent

只要损失函数Loss Function是可微分的，那么就可以用Gradient Descent(梯度下降)求得比较理想的function或参数

计算$\frac{dL}{dw}{|}_{w=w^0}$后，如果斜率为负，说明w右侧的Loss更小，则下一步w向右移动；若斜率为正，则w向左移动。（梯度指向增长最大方向的，所以要反向负号）
$\eta$：学习率（Learning rate） 影响参数更新的幅度，$\eta$ 越大的话，学习参数的速率更快，但可能使得参数错过Loss function的最小值对应的点。
可能会找到局部最优解，但不是全局最优解。
在线性回归中，不存在局部最优的问题。（凸优化函数的局部最优解就是全局最优解，等高线图是二维的）

两个参数的情况：

（最后一行的$w^0$和$b^0$应该改为$w^1$和$b^1$）
梯度：

梯度下降可能会遇到的问题：

得到最优的解看人品(●’◡’●)
最后找到的结果及其在训练集上的平均误差：

实际上我们更要考虑的是在新的数据（测试集）上的表现 —— 泛化能力 如何？

此时Average Error = 35.0
不能只看训练集精度，还要看测试集精度，防止过拟合

---

三、如何改进（How can we do better?）

答：改变模型？

第1种改进：增加多项式模型的次数（复杂度）

一个越复杂的model在训练集上的误差越低

一个越复杂的model在训练集上的误差越低,但在测试集上误差并不一定更低，这就是**过拟合（Overfitting）**

第2种改进：收集更多测试数据，发现隐藏因素(物种或其他因素)，将其加入模型

增加测试集

隐藏的因素是物种！！！
将不同的物种用不同的颜色表示

重新设计Model，加入物种的影响：

将上述式子写成线性模型的形式：

不同种类的宝可梦用的参数不一样，因此有不同的曲线：
结果：

第3种改进：损失函数正则化

还有其他因素吗？
体重、高度、HP… 加入到模型中

结果坏掉了/(ㄒoㄒ)/~~

---

损失函数正则化（Regularization）

参数$w_i$越小，函数越平滑（smooth）。
（因为假设输入$x_i$的变化量为$\Delta x_i$,则输出的变化量为$w_i\Delta x_i$，$w_i$越小，输出变化越小）
函数越平滑：输出对输入的变化越不敏感

---

$\mathbf{\lambda }$是平滑因子，自己定值（超参）

---

正则化时不需要考虑偏置项bias，因为bias不影响函数的平滑程度

---

$\lambda$越大，说明在Loss函数中的误差和平滑这两项中考虑平滑因素更多，所以$\lambda$越大，函数就越平滑，但在Training data上的误差越大（因为考虑误差较少）

---

我们喜欢平滑的函数，但不喜欢太平滑的函数（太平滑的就是水平线），所以Testing data的平均误差随着$\lambda$的增大先变小，后变大
我们要决定How smooth? 调参 —— 选择一个获得最佳模型的 $\mathbf{\lambda }$ 值，此处选择$\lambda =100$.