四、一元线性回归
1. 预测函数
输入 | 输出 |
---|---|
0 | 1 |
1 | 3 |
2 | 5 |
3 | 7 |
4 | 9 |
… | … |
-
预测函数为: y = 1 + 2 x y=1+2x y=1+2x
-
预测:输入10;输出21
-
y = w 0 + w 1 x y=w_0+w_1x y=w0+w1x,任务就是寻找预测函数中的模型参数 w 0 w_0 w0和 w 1 w_1 w1,以满足输入和输出之间的联系。
2. 单样本误差
- 随机 x x x 代入 y = w 0 + w 1 x y=w_0+w_1x y=w0+w1x 得到 y ′ y' y′ ,则单样本误差为: e = ( y − y ′ ) 2 2 e=\frac{(y-y')^2}{2} e=2(y−y′)2
3. 总样本误差
- 总样本误差为: E = ∑ ( y − y ′ ) 2 2 E=\sum {\frac{(y-y')^2}{2}} E=∑2(y−y′)2
4. 损失函数
-
损失函数为: L o s s ( w 0 , w 1 ) = ∑ ( y − ( w 0 + w 1 x ) ) 2 2 Loss(w_0,w_1)=\sum {\frac{(y-(w_0+w_1x))^2}{2}} Loss(w0,w1)=∑2(y−(w0+w1x))2
-
任务就是寻找可以使损失函数取得最小值的模型参数 w 0 w_0 w0 和 w 1 w_1 w1 。
5. 梯度下降法寻优
-
随机选择一组模型参数 w 0 w_0 w0 和 w 1 w_1 w1 ,计算损失函数在该模型参数处的梯度 [ ∂ L o s s / ∂ w 0 , ∂ L o s s / ∂ w 1 ] [\partial{Loss}/\partial{w_0}, \partial{Loss}/\partial{w_1}] [∂Loss/∂w0,∂Loss/∂w1