线性回归模型
y = ∑ j = 1 M x j w j + b y = {\sum_{j=1}^Mx_j w_j} + b y=j=1∑Mxjwj+b
w j w_j wj和 b b b分别表示该线性模型的权重和偏置。一维情况下, w j w_j wj和 b b b就是直线的斜率和截距。
损失函数
L o s s = ( y − z ) 2 Loss = (y - z)^2 Loss=(y−z)2
L = 1 N ∑ i ( y ( i ) − z ( i ) ) 2 L= \frac{1}{N}\sum_i{(y^{(i)} - z^{(i)})^2} L=N1i∑(y(i)−z(i))2
计算梯度
上面我们讲过了损失函数的计算方法,这里稍微加以改写,引入因子 1 2 \frac{1}{2}