机器学习 正则化(regularization)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/claroja/article/details/79819186

方法
1.丢弃一些特征,手工或者使用一些算法(如PCA)
2.正则化,保留特征,但是减少参数大小.

正则化
高次项导致了过度拟合,所以只要将高次项的系数逼近为0的话,就可以拟合了,既在一定程度上减少参数θ的值.
这里写图片描述
其中λ称为正则化参数(regularization parameter),根据惯例,不需要对θ0进行惩罚.
这里写图片描述

正则化线性回归
这里写图片描述
这里写图片描述
调整可得
这里写图片描述
可以看出变化在于每次都在原有算法更新的基础上令θ值减少了一个值.
正则化逻辑回归
这里写图片描述
代价函数
这里写图片描述
求导
这里写图片描述

展开阅读全文

没有更多推荐了,返回首页