方法
1.丢弃一些特征,手工或者使用一些算法(如PCA)
2.正则化,保留特征,但是减少参数大小.
正则化
高次项导致了过度拟合,所以只要将高次项的系数逼近为0的话,就可以拟合了,既在一定程度上减少参数
θ
θ
的值.
其中
λ
λ
称为正则化参数(regularization parameter),根据惯例,不需要对
θ0
θ
0
进行惩罚.
正则化线性回归
调整可得
可以看出变化在于每次都在原有算法更新的基础上令
θ
θ
值减少了一个值.
正则化逻辑回归
代价函数
求导