正则化如何防止过拟合

来自Ng课件。

当加入了Lambd惩罚项后，权值接近于0，网络的大部分结点被消除，网络由high variance 状态变为high bias状态。

假设g(z)只用双曲正切函数，函数图像如图。如果z太大或者太小，正切函数范围到非线性部分。如果z在0附近，正确函数范围在线性部分。如果lambd很大，权值W就会被惩罚的很小，Z就会落在0附近，函数区间落在线性部分，整个网络接近简单的线性函数，不是复杂的非线性函数，不会产生过拟合。