这篇博客介绍了回归分析中的关键概念，包括一元线性回归的预测函数、单样本误差、总样本误差、损失函数及梯度下降法寻优。还探讨了岭回归如何通过正则化减轻过拟合问题，以及多项式回归如何扩展线性模型以适应非线性关系。
四、一元线性回归
1. 预测函数
| 输入 | 输出 |
|---|---|
| 0 | 1 |
| 1 | 3 |
| 2 | 5 |
| 3 | 7 |
| 4 | 9 |
| … | … |
-
预测函数为： y = 1 + 2 x y=1+2x y=1+2x
-
预测：输入10；输出21
-
y = w 0 + w 1 x y=w_0+w_1x y=w0+w1x，任务就是寻找预测函数中的模型参数 w 0 w_0 w0和 w 1 w_1 w1，以满足输入和输出之间的联系。
2. 单样本误差
- 随机 x x x 代入 y = w 0 + w 1 x y=w_0+w_1x y=w0+w1x 得到 y ′ y' y′ ，则单样本误差为： e = ( y − y ′ ) 2 2 e=\frac{(y-y')^2}{2} e=2(y−y′)2
3. 总样本误差
- 总样本误差为： E = ∑ ( y − y ′ ) 2 2 E=\sum {\frac{(y-y')^2}{2}} E=∑2(y−y′)2
4. 损失函数
-
损失函数为： L o s s ( w 0 , w 1 ) = ∑ ( y − ( w 0 + w 1 x ) ) 2 2 Loss(w_0,w_1)=\sum {\frac{(y-(w_0+w_1x))^2}{2}} Loss(w0,w1)=∑2(y−(w0+w1x))2
-
任务就是寻找可以使损失函数取得最小值的模型参数 w 0 w_0 w0 和 w 1 w_1 w1 。
5. 梯度下降法寻优
-
随机选择一组模型参数 w 0 w_0 w0 和 w 1 w_1 w1 ，计算损失函数在该模型参数处的梯度 [ ∂ L o s s / ∂ w 0 , ∂ L o s s / ∂ w 1 ] [\partial{Loss}/\partial{w_0}, \partial{Loss}/\partial{w_1}] [∂Loss/∂w0,∂Loss/∂w1
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
