深度学习中有关拟合和正则化的一些问题

•  欠拟合——模型过于简单，无法起到较好的判断效果。

• 好的拟合——可以较好地描述样本，具有较好的泛化能力

• 过拟合——模型过于复杂，虽然在训练集中判断能力较好，但对训练集过于依赖，在测试集中无法起到较好的判断

防止过拟合的解决方法： 添加正则化项，添加正则化项后，相当于对参数取值添加了约束条件，以此降低了模型的复杂度。

添加正则化项以前：

添加正则化项（L2正则）以后：

• L1正则化 —— ||W|| = |W1| + |w2| + |W3| + ... + |Wn|

 W1 W2约束条件：|W1| + |W2| <= 1 ，故而其对应函数图像为一个菱形（黑色部分），彩色部分的圆圈为目标损失函数，交点处参数取最优值。

L1正则具有稀疏性，即可以使很多参数Wi取0值。从解空间角度来看，是因为对于L1，由于其图形为菱形，故而更容易在顶点处（即0点）取得最优值。

• L2正则化 —— ||W||² = W1² + W2² + W3² + ... + Wn²

W1 W2约束条件：W1² + W2² <= 1，故而其函数图形为圆形

个人理解，如有偏差欢迎指出。

文章参考来源：https://www.bilibili.com/video/av95536527?p=3