过拟合问题

概念
过拟合就是训练出来的模型在训练集上表示很好，但在测试集上表现较差的一种现象
原因

1、数据有噪声（即不相关的干扰因素）
2、训练数据不足
3、训练模型过度导致模型非常复杂

解决方式
1、early stopping
提前结束训练，就是找到了一个点，这个点的参数精确值最高，并且在接下来的n次训练中精度都不如这个点，那么就提前结束，n的选择视情况而定
2、数据集扩增

可以在数据源获取更多数据
将原本的数据复制几倍，可以加上随机噪声
根据已知模型构造更多数据
3、正则化方法
结构风险最小化、模型复杂度的约束
简单来说，就是对于一个训练集我们可能会得到不止一个模型，那么在这些得到的模型中一定会有一个复杂度最小的，使用正则化方法就是尽量让得到的这个模型就是这个复杂度最小的，这样来防止过拟合的发生

 

常用的正则化方法：

L0范数（参数为0的个数最多时）
L1正则
L2正则
P范数
核范数
无穷范数（向量元素中绝对值的最小值）

原文链接：https://blog.csdn.net/csdn_muxin/article/details/81289933