2-回归

回归：Regression 就是找到一个函数 $function$ ，通过输入特征 $x$，输出一个数值 $Scalar$。

模型步骤

模型假设，选择模型框架

假设使用线性模型

x:表示特征值
w：表示特征值权值
b：表示偏移量

模型评估，如何判断众多模型的好坏（损失函数）

从数学的角度来讲，我们使用距离。求【进化后的CP值】与【模型预测的CP值】差，来判定模型的好坏。也就是使用损失函数（Loss function） 来衡量模型的好坏

模型优化，如何筛选最优的模型（梯度下降）

单个特征

步骤：

• 步骤1：随机选取一个 $w^0$
• 步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向
  • 大于0向右移动（增加$w$）
  • 小于0向左移动（减少$w$）
• 步骤3：根据学习率移动(即移动的步长)
• 重复步骤2和步骤3，直到找到最低点

两个特征值也一样，但变成求偏微分

问题：

• 问题1：当前最优（Stuck at local minima）
• 问题2：等于0（Stuck at saddle point）
• 问题3：趋近于0（Very slow at the plateau）

如何验证训练模型的好坏

使用训练集和测试集的平均误差来验证模型的好坏

过拟合问题

在训练集上面表现更为优秀的模型，在测试集上效果反而变差了。

步骤优化

Step1优化：2个input的四个线性模型是合并到一个线性模型中

就是通过对 Pokemons种类 判断，将 4个线性模型 合并到一个线性模型中

Step2优化：如果希望模型更强大表现更好（更多参数，更多input）

在最开始我们有很多特征，图形化分析特征，将血量（HP）、重量（Weight）、高度（Height）也加入到模型中

但仍然导致过拟合

Step3优化：加入正则化