正则化的简单理解



正则性（regularity），正则性衡量了函数光滑的程度，正则性越高，函数越光滑。（光滑衡量了函数的可导性，如果一个函数是光滑函数，则该函数无穷可导，即任意n阶可导）。

由高等数学知识得知，任何一个函数f(X)都可以通过多项式的模拟得到，即f(X)=θ0+θ1X1+···+θnXn

正则化方法会自动削弱不重要的特征变量，自动从许多的特征变量中”提取“重要的特征变量，减小特征变量的数量级。

当我们有很多特征变量时，其中每一个变量都能对预测产生一点影响。正如在房价预测的例子中看到的那样，我们可以有很多特征变量，其中每一个变量都是有用的，因此我们不希望把它们删掉，这就导致了正则化概念的发生

正则化的作用：防止过拟合