机器学习笔记（三）过拟合、欠拟合与正则化

一、过拟合与欠拟合

1.定义

过拟合与欠拟合都是机器学习建模过程中可能遇到的问题。欠拟合指模型在训练过程中对训练集拟合效果差，一般是由于模型的复杂度过低；过拟合指模型在训练过程中对训练集拟合效果好，但在测试过程中对测试集拟合效果差，即模型的泛化能力差，一般是由于建立的模型过于复杂。

2.出现原因

出现欠拟合情况的原因一般是模型还未完成学习，在后续的学习过程中一般能够得到改善。

出现过拟合情况的原因一般为：
1.训练集数据类型单一或数据量过小
2.训练数据当中噪声干扰过大
3.模型过于复杂（包含了过多特征）

二、正则化

正则化是解决模型过拟合问题的重要方法。具体做法是在损失函数中加入一个正则项后再求解参数$\theta$，从而降低模型的复杂度，常用的正则项有L1正则项与L2正则项。

θ = a r g m i n θ [ L o s s ( θ ) + ∑ λ R ( θ ) ] = a r g m i n θ [ 1 m ∑ i = 1 m ( ( h θ ( x i ) − y i ) 2 + λ R ( θ ) ) ] \theta=argmin_\theta[Loss(\theta)+\sum\lambda R(\theta)]=argmin_\theta[\frac{1}{m}\sum_{i=1}^{m}((h_\theta(x_i)-y_i)^2+\lambda R(\theta))] θ=argminθ​[Loss(θ)+∑λR(θ)]=argmin