第八章 正则化regularization

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_42234769/article/details/86618473

课时55 过拟合问题
在这里插入图片描述
underfit欠拟合 with high bias
overfit过拟合 with high variance
在这里插入图片描述在这里插入图片描述
解决过拟合问题:

  1. 减少特征数
    -手动选择要保留的特征
    -模型选择算法model selection algorithm
  2. 正则化regularization
    -保留所有的特征, 但是减少θj的量级/权值
    -当我们有很多特征,每一个特征都对预测y有一些贡献的时候works well

课时56 代价函数
在这里插入图片描述
代价函数中,在平方误差项后加上一些惩罚项,为了使代价小,θ3,θ4应该很小接近于0才可以。
在这里插入图片描述
正则化参数λ平衡了更好地拟合训练集的目标与将参数控制得更小(保持模型相对简单)的目标。如果λ太大,对参数的惩罚程度也大,容易欠拟合。

课时57 线性回归的正规化
梯度下降法:
因为regularization不包括θ0,所以梯度下降处把θ0单独列一下。
在这里插入图片描述
normal equation正规方程法:
在这里插入图片描述
如果λ>0,括号里的式子一定是可逆的。

课时61 logistic回归的正规化
梯度下降法:
在这里插入图片描述
式子与线性回归的一样,但是实际不一样,因为假设函数不一样。
高级算法:
在这里插入图片描述

展开阅读全文

没有更多推荐了,返回首页