正则化
应用背景——过拟合
当我们过于执着于拟合训练集的数据时,有可能造成过拟合的情况,如下图三所示
这样的预测函数,对于新加入的数据预测效果会非常差
就以多项式理解,x的次数越高,拟合的越好,但相应的预测的能力就可能变差。
应对方法:
-
减少特征数量。
手工选择保留哪些特征
使用一些模型选择的算法来帮忙(例如PCA)
-
正则化。
保留所有的特征,但是减少参数的大小(magnitude)
代价函数
为了减少过拟合情况的发生,我们可以在代价函数 J J J中加入高次方程的系数惩罚项,使得高次系数尽量趋近于0
但在实际运行过程中,我们并不知道哪些次数会是高次项,所以我们在代价函数里惩罚每一个系数
这时候需要注意 λ λ λ的取值,如果过大,会让曲线最后接近于一条直线,如果过小,则没有起到正则化的作用
注意:不惩罚 θ 0 θ0 θ0
线性回归正则化
梯度下降
正规方程正则化
注意那个矩阵是n+1维的(不惩罚第0项)