机器学习 正则化(regularization)

方法
1.丢弃一些特征,手工或者使用一些算法(如PCA)
2.正则化,保留特征,但是减少参数大小.

正则化
高次项导致了过度拟合,所以只要将高次项的系数逼近为0的话,就可以拟合了,既在一定程度上减少参数$\theta$的值.

其中$\lambda$称为正则化参数(regularization parameter),根据惯例,不需要对$\theta_0$进行惩罚.

正则化线性回归


调整可得

可以看出变化在于每次都在原有算法更新的基础上令$\theta$值减少了一个值.
正则化逻辑回归

代价函数

求导