李沐 线性回归 【动手学深度学习v2】

线性模型

线性模型可以看做是单层神经网络，是最简单的一种神经网络

• 输出层不算一层
• 将权重和输入放在一起

衡量预估质量

其中，1/2是为了在求导时方便消去。

训练数据

假设xi(即小x)为列向量，再经过转置，则X(即大X)的每一行就是一个样本。

同样，y为列向量，每一行的yi是实数的数值。

参数学习

对于模型，在每一个数据上的损失，求均值，可得到损失函数。

公式如下：

与X,y,w,b有关

其中，1/2来自损失函数，1/n表示求平均。针对每一个样本，用真实值yi减去预测值(<xi,w>+b)，也可写成向量版本，再求平方和。

目标为找到w和b使得平方中的项的值最小，即最小化损失！

w*和b*就是我们的解。

显示解

解释：向X中加入一列全1的特征，将偏差b加在权重w的最后，则预测值可写成Xw，损失函数中的预测值的写法也相应的修改为Xw。

损失是凸函数，所以最优解在梯度为0处：

线性回归是唯一的有最优解的模型

总结