深度学习（一）

B站深度学习课程：https://www.bilibili.com/video/BV1JE411g7XF?p=3

回归regression:输出数据
分类classification：输出类型
生成generation：输出图形，音乐…

Meta learning: learn to learn

---

regression

这里我们选择了预测宝可梦进化后的CP值作为问题。

第一步，建立模型，找到合适的参数（权重和偏差）

第二步，建立损失函数。损失函数是衡量模型函数有多差的函数，它的输出是模型函数，实际上也就是输入模型的参数。
可以将其表示为真值与模型输出的差的平方和。

在wb坐标系中表示损失函数的结果，越偏代表损失函数的输出越大，越蓝代表越小。

*arg max是一种对函数求参数(集合)的函数。当我们有另一个函数y=f(x)时，若有结果x0= arg max(f(x))，则表示当函数f(x)取x=x0的时候，得到f(x)取值范围的最大值。(arg min函数同理) *

第三步，通过上一步，我们只要求出使损失函数最小的参数，使得问题变成了最优化问题。

最优化中的步长，在这里被称为学习率，也就是图中的η。

当有多个参数时也是一样的。

---

这三步就引出了很多问题，第一个突出的问题就是

模型的选择

最简单的模型就是以进化前的CP值作为变量的一次函数。

经过计算我们得到最优的参数w，b。然后计算模型预测值与训练值之差的和为31.9。
而我们再找十个测试数据，预测值与测试值之差为35.0。

我们还可以考虑以Xcp为变量的2次，3次…函数作为模型。

经过实验我们可以看到，随着模型复杂度的提升，在训练数据上的误差越来越小，但是在测试数据上却并非如此。当复杂度超过一定限度的时候，误差变得非常大。
这就是出现了过拟合的现象。如下图所示。

---

即使我们选择了比较合适的次数，模型的准确度依旧不是非常理想。因为我们只考虑了进化前的CP值这一个因素，实际上可能还有其他因素在影响进化后的CP值。

实际上，宝可梦的种类对于CP值显然是有影响的，我们找了更多的数据并且将其分类如下图

因此我们可以引入宝可梦的品种这一变量Xs.
假设种宝可梦分别有四种一次的函数，则模型如下

在引入这一变量后，训练误差和测试误差都显著减小了。

---

那么下面以此类推，要进一步精确，我们可以引入更多的变量（如宝可梦的HP,WEIGHT等等），也可以适当提高函数的次数。
当然，这种行为也会带来过拟合的问题。

为了解决过拟合的问题，就要进行正则化。
正则化的方法，从最优化理论的角度说就是加入罚函数项，降低某些因素的影响。
从模型的角度来说，是使模型变得平滑，模型越平滑抗干扰的能力就越强。

经过实验调整得到最合适的λ的值。