线性回归数据实例

1、初始化

样例参数  x=[1,2]   y=[2,4]

选择模型  y=wx

预设 w=3

学习率 a=0.1

2、训练

第一轮

计算损失

3*1-2=1

3*2-4=2

均方差计算损失(1**2+2**2)/2=(2+4)/2=3

更新w

均方差计算损失导数  2*x*(x*w-y)

计算平均梯度（导数）

2*1(1*3-2)=2

2*2(2*3-4)=8

(2+8)/2=5

w=w-0.1*5=3-0.5=2.5

更新后的w=2.5

第二轮

计算损失

2.5*1-2=0.5

2.5*2-4=1

最小二乘法计算损失(0.5**2+1**2)/2=(1+2)/2=1.5

更新w

计算平均梯度（导数）

2*1(1*2.5-2)=1

2*2(2*2.5-4)=4

(1+4)/2=2.5

w=w-0.1*2.5=2.5-0.25=2.25

更新后的w=2.25

.

.

.

.

.

.

.

计算100轮 w 约等于2