机器学习中模型的欠拟合与过拟合

使用训练集去训练模型，参数的选择是依据最小化训练误差，加上训练集和测试集一般不是独立同分布，所以会有distribution dfift，出现过拟合或者欠拟合。

过拟合
模型在训练集上方差高，低偏差
1、将训练样本的一些特征当做了所有潜在样本都具有的一般性质，会造成造成泛化能力下降，过度依赖训练数据，（训练样本与测试样本分布不一致）
2、模型可能学习到了训练集中的噪声，并基于噪声进行了预测
3、数据量不足，无法估计整个数据集的分布
4、模型过度复杂，参数量远多于训练集数
还有一种理解是，在进行线性回归的时候，数据是线性可分的，决策边界的参数会变的无穷大，决策边界会接近一条垂直线，这也是过拟合，解决方法就是要把决策边界w*x + b的w变小。

解决方法：
得到较小的参数的模型，意味着更低的复杂性，同时更小的权重参数意味着网络不会因为随便改变了一个输入而输出有很大的改变，能抵抗训练中的噪声影响（也可由奥卡姆剃刀原理，如无必要，勿增实体即简单有效的模型）。
1、加入正则化，是的某些神经元权重递减，当权重为零时神经元失效，常用的有：
L1正则：会有稀疏解，实现参数稀疏性，以及特征选择
L2正则：整体压缩权重值在较小的范围内
拉普拉斯分布（L1正则）在参数w=0点的概率最高，因此L1正则化相比于L2正则化更容易使参数为0；高斯分布（L2正则）在零附近的概率较大，因此L2正则化相比于L1正则化更容易使参数分布在一个很小的范围内

2、训练多个模型，bagging多模态训练，以每个模型的平均输出作为结果。
3、在训练集添加验证集（validation data），进行early stop。
4、增加训练数据集：从数据源头获取更多数据或者通过一定规则（例图片可以进行剪裁等操作）扩充数据。
5、减少模型的复杂度：减少隐藏层，隐藏神经元
6、dropout，随机失活，使得神经元随机隐层，不参与反向传播和参数更新。

欠拟合
无法从训练集中提取有效的信息，模型的复杂度多低，训练误差大，高偏差
解决方法：
1、增加性的特征（特征组合，高纬度特征）
2、减少正则化参数
3、集成学习
4、使用非线性模型，比如核SVM 、决策树、深度学习等模型