在机器学习算法中的几个疑难杂症点（1）_机器每一组的特征数不一样-CSDN博客

本文链接：https://blog.csdn.net/qq_38165506/article/details/102942847

文章目录

过拟合
正则化的两种形式

过拟合

过拟合的定义

过拟合的百度百科定义：
“给定一个假设空间H,一个假设h属于H,如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小,但在整个实例分布上h’比h的错误率小,那么就说假设h过度拟合训练数据。”

个人理解：是指模型过度的完美拟合训练数据，但是训练数据中有较多数据与真实数据出入较大，所以导致这个模型泛化能力比较差，在匹配真实数据时误差较大。
在这里插入图片描述

过拟合出现的原因

（1）数据特征的角度

训练数据中存在噪音。错误地把噪音作为有效信息，导致过拟合。
训练数据太少。缺乏代表性不能很好地反映整体。
(2)模型的角度
模型过度复杂。主要是训练集的数量级小于模型的复杂度。
训练集和测试集特征分布不一致。
权值学习迭代次数足够多(Overtraining)，拟合了训练数据中的噪声和训练样例中没有代表性的特征。

过拟合的解决办法

调小模型复杂度，使其适合自己训练集的数量级（缩小宽度和减小深度）
训练集越多，过拟合的概率越小。在计算机视觉领域中，增广的方式是对图像旋转，缩放，剪切，添加噪声等。
正则化是指通过引入额外新信息来解决机器学习中过拟合问题的一种方法。这种额外信息通常的形式是模型复杂性带来的惩罚度。正则化可以保持模型简单，另外，规则项的使用还可以约束我们的模型的特性。

5、 early stopping

对模型进行训练的过程即是对模型的参数进行学习更新的过程，这个参数学习的过程往往会用到一些迭代方法，如梯度下降（Gradient descent）学习算法。Early stopping便是一种迭代次数截断的方法来防止过拟合的方法，即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。

Early stopping方法的具体做法是，在每一个Epoch结束时（一个Epoch集为对所有的训练数据的一轮遍历）计算validation data的accuracy，当accuracy不再提高时，就停止训练。这种做法很符合直观感受，因为accurary都不再提高了，在继续训练也是无益的，只会提高训练的时间。那么该做法的一个重点便是怎样才认为validation accurary不再提高了呢？并不是说validation accuracy一降下来便认为不再提高了，因为可能经过这个Epoch后，accuracy降低了，但是随后的Epoch又让accuracy又上去了，所以不能根据一两次的连续降低就判断不再提高。一般的做法是，在训练的过程中，记录到目前为止最好的validation accuracy，当连续10次Epoch（或者更多次）没达到最佳accuracy时，则可以认为accuracy不再提高了。此时便可以停止迭代了（Early Stopping）。这种策略也称为“No-improvement-in-n”，n即Epoch的次数，可以根据实际情况取，如10、20、30……

6、集成学习算法也可以有效的减轻过拟合。