解决线性回归“过拟合”
L1正则(Lasso回归):就相当于,绿色部分是一样的,只是在后面加了一个小尾巴(蓝色部分),这个小尾巴就是起到防止过度拟合的作用。蓝色部分代表的是:模型的权重的绝对值之和(|Ki|),其中λ是一个自己来定的常数(正数),λ越大后面这坨小尾巴的影响效果就越大
(公式里面mj就是我这里用的ki)
通俗理解原理:由于下山的时候步长可能过大,会出现走到第6步的时候,离最低点已经很近了但还没到最低点,这时候再走一步到第7点那个位置,发现这一步误差比上一步更大了,因此选择上一步为迭代的终点。
所以这时候就用L1-lasso回归解决过拟合问题,λ越大(λ越敏感)这一坨对结果影响就越大,在不断迭代过程中,由于不断接近最低点,所以绿色的两坨都在不断的减小,而蓝色这坨里面的|Ki|是在不断增大(为了避免减小的步伐太大了,是一个束缚条件),这个增大的效果最终呈现的效果大还是小,以λ(一个整数,自己确定大小)来决定,如果λ大那这坨影响就大
L2正则(岭回归),就是把小尾巴的绝对值直接平方
L1+L2正则就是两个 束缚部分 相加,只是一个占p,另一个占(1-p),然后外边还有个超参数λ
与上一节目标函数的关系:
首先,k,m,w 都用来表示斜率(权重),遇到的时候要明白其实是一个意思
等价关系:
解决欠拟合
常用求偏导
一元线性回归 & 多元线性回归
几何意义理解:
二元线性回归模型中参数b的推导过程:
在实际中可以直接用这个公式,来得到参数b
线性回归优缺点
缺点还有,线性回归的y必须是连续性的