机器学习13 过拟合解决(lasso,岭回归),欠拟合,多元线性回归

解决线性回归“过拟合”

在这里插入图片描述

L1正则(Lasso回归):就相当于,绿色部分是一样的,只是在后面加了一个小尾巴(蓝色部分),这个小尾巴就是起到防止过度拟合的作用。蓝色部分代表的是:模型的权重的绝对值之和(|Ki|),其中λ是一个自己来定的常数(正数),λ越大后面这坨小尾巴的影响效果就越大
在这里插入图片描述
在这里插入图片描述
(公式里面mj就是我这里用的ki)
在这里插入图片描述
通俗理解原理:由于下山的时候步长可能过大,会出现走到第6步的时候,离最低点已经很近了但还没到最低点,这时候再走一步到第7点那个位置,发现这一步误差比上一步更大了,因此选择上一步为迭代的终点。

所以这时候就用L1-lasso回归解决过拟合问题,λ越大(λ越敏感)这一坨对结果影响就越大,在不断迭代过程中,由于不断接近最低点,所以绿色的两坨都在不断的减小,而蓝色这坨里面的|Ki|是在不断增大(为了避免减小的步伐太大了,是一个束缚条件),这个增大的效果最终呈现的效果大还是小,以λ(一个整数,自己确定大小)来决定,如果λ大那这坨影响就大
在这里插入图片描述
L2正则(岭回归),就是把小尾巴的绝对值直接平方
在这里插入图片描述
L1+L2正则就是两个 束缚部分 相加,只是一个占p,另一个占(1-p),然后外边还有个超参数λ

与上一节目标函数的关系:
在这里插入图片描述
首先,k,m,w 都用来表示斜率(权重),遇到的时候要明白其实是一个意思
在这里插入图片描述
等价关系:
在这里插入图片描述

解决欠拟合

在这里插入图片描述

常用求偏导

在这里插入图片描述
在这里插入图片描述

一元线性回归 & 多元线性回归

几何意义理解:
在这里插入图片描述
在这里插入图片描述

二元线性回归模型中参数b的推导过程:
在这里插入图片描述
在实际中可以直接用这个公式,来得到参数b
在这里插入图片描述

线性回归优缺点

在这里插入图片描述
在这里插入图片描述
缺点还有,线性回归的y必须是连续性的

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值