正则化( regularization)的学习

一、过拟合和欠拟合

欠拟合：还没有拟合到位，训练集和测试集的准确率都还没有到达最高；

过拟合：拟合过度，训练集的准确率升高的同时，测试集的准确率反而降低。

二、正则化的理解

防止过度拟合，增加模型的鲁棒性，本质是牺牲模型在训练集上的正确率来提高在测试集上的准确率。

三、惩罚项的种类

1. L1正则项

   公式：

     2. L2正则项

     公式：

其实 L1 和 L2 正则的公式数学里面的意义就是范数，代表空间中向量到原点的距离

四、L1、L2正则项的特性、区别

1、特性：

L1:稀疏性，使得有的W趋近于0，有的W相对较大，可用于降维