L1与L2正则化

正则化方法：减少泛化误差，而不是减少训练误差的方法（减少过拟合）。训练神经网络的时候，我们的目的是找到损失函数的最小值，就算损失函数的值是相同的，得到的 W 和 B 也可能是一组一组不同的值。当输入一个新的数据，当参数数值比较大的时候，这样会放大误差与噪声（统计中心法则）。一种方法是给参数一个可行域，让其在域内求最值（一般只需要规定 W ）。

（注意：这里只需要一个参数（不需要C））

 

 

X，Y两个轴表示两种特征第二张图上的点表示可能只需要一个特征就能进行判断（L1正则化可以带来稀疏性：某些特征起作用，将特征与特征之间的关系去耦合了，也恰恰是减少过拟合的过程）。（正则化可能带来偏差但是没有想象的那么大。）