L1范数与L2范数的区别与联系

L1范数与L2范数的区别与联系

一、过拟合与正则化

　　过拟合指的就是在机器学习模型训练过程中把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样会导致在测试的时候不能够很好地识别数据，即不能正确的分类，模型测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力较差,也就是高方差(variance)，低偏差（bias）。例如：

　　正则化就是用来解决过拟合问题的，防止我们的模型过分拟合我们的参数。监督机器学习问题无非就是“minimize your error while regularizing your parameters”，也就是在规则化参数的同时最小化误差，最小化误差是为了让我们的模型拟合我们的训练数据。正则化参数我理解就是寻找在模型拟合我们的数据以及过拟合之间寻找平衡点。参数太多，会导致我们的模型复杂度上升，容易过拟合，正则化可以约束参数，降低模型复杂度，同时规则项的使用可以约束我们模型的特性，使模型稀疏、低秩、平滑等。机器学习中几乎都可以看到损失函数后面会添加一个额外项，称作L1正则化和L2正则化，或者L1范数和L2范数。

　　其中