深度学习-误差和梯度下降

深度学习-误差和梯度下降

1.关于Error

1.1 偏差和方差

什么是偏差和方差：偏差和方差的区别

如下图所示，在简单模型（左边）是偏差比较大造成的误差，这种情况叫做欠拟合，而复杂模型（右边）是方差过大造成的误差，这种情况叫做过拟合。

1.2 如何进行分析

如果模型没有很好的训练训练集，就是偏差过大，也就是欠拟合
如果模型很好的训练训练集，即再训练集上得到很小的错误，但在测试集上得到大的错误，这意味着模型可能是方差比较大，就是过拟合。
对于欠拟合和过拟合，是用不同的方式来处理的

偏差大-欠拟合

此时应该重新设计模型。因为之前的函数集里面可能根本没有包含$f^{\ast }$。可以：

将更多的函数加进去，比如考虑高度重量，或者HP值等等。
或者考虑更多次幂、更复杂的模型。
如果此时强行再收集更多的data去训练，这是没有什么帮助的，因为设计的函数集本身就不好，再找更多的训练集也不会更好。

方差大-过拟合

简单粗暴的方法：更多的数据

但是很多时候不一定能做到收集更多的data。可以针对对问题的理解对数据集做调整。比如识别手写数字的时候，偏转角度的数据集不够，那就将正常的数据集左转15度，右转15度，类似这样的处理。

1.3 模型选择

现在在偏差和方差之间就需要一个权衡
想选择的模型，可以平衡偏差和方差产生的错误，使得总错误最小
但是下面这件事最好不要做：

用训练集训练不同的模型，然后在测试集上比较错误，模型3的错误比较小，就认为模型3好。但实际上这只是你手上的测试集，真正完整的测试集并没有。比如在已有的测试集上错误是0.5，但有条件收集到更多的测试集后通常得到的错误都是大于0.5的。

交叉验证

图中public的测试集是已有的，private是没有的，不知道的。交叉验证 就是将训练集再分为两部分，一部分作为训练集，一部分作为验证集。用训练集训练模型，然后再验证集上比较，确实出最好的模型之后（比如模型3），再用全部的训练集训练模型3，然后再用public的测试集进行测试，此时一般得到的错误都是大一些的。不过此时会比较想再回去调一下参数，调整模型，让在public的测试集上更好，但不太推荐这样。（心里难受啊，大学数模的时候就回去调，来回痛苦折腾）

上述方法可能会担心将训练集拆分的时候分的效果比较差怎么办，可以用下面的方法。

N-折交叉验证

将训练集分成N份，比如分成3份。

比如在三份中训练结果Average错误是模型1最好，再用全部训练集训练模型1。

2.梯度下降法

在回归问题的第三步中，需要解决下面的最优化问题：

• L :lossfunction（损失函数）
• θ :parameters（参数）

这里的parameters是复数，即 θ 指代一堆参数，比如上篇说到的 w 和 b 。

我们要找一组参数 θ ，让损失函数越小越好，这个问题可以用梯度下降法解决：

假设 θ 有里面有两个参数 θ1, θ2 随机选取初始值

下图为将梯度下降法的计算过程进行可视化的展示：