拟合问题分析

欠拟合和过拟合

机器学习和深度学习的训练过程中，经常会出现过拟合和欠拟合的现象。

如图中左侧，模型过于简单，无法较好的拟合数据，即欠拟合。
如图中右侧，模型过于复杂，完全拟合训练数据的特征，导致模型泛化能力差，即过拟合。

欠拟合解决方式

1. 添加其他特征项，有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。
2. 添加多项式特征，优化模型，一般是模型过于简单无法描述样本的特性。
3. 减少其它过拟合手段。

过拟合解决方式

添加正则化项

机器学习中几乎都可以看到损失函数后面会添加一个额外项，即模型复杂度惩罚项。常用的额外项一般有两种，包括$L1$正则化 和$L2$正则化，或者称为 $L1$ 范数和 $L2$范数。

• $L1$正则化是指权值向量$\omega$中各个元素的绝对值之和，通常表示为$\Vert \omega {\Vert }_1$。
• $L2$正则化是指权值向量$\omega$中各个元素的平方和然后再求平方根，通常表示为$\Vert \omega {\Vert }_2$。

以线性回归为例子，线性回归的优化目标如下：
min ⁡ 1 / N ∗ ∑ i = 1 N ( y i − ω T x i ) 2 \min 1 / N * \sum_{i=1}^{N}\left(y_{i}-\omega^{T} x_{i}\right)^{2} min1/N∗