简单线性回归 解析解 最小二乘法

  这里所说的简单线性是指一元线性回归，即特征个数为1，样本个数为n个。符号表示中 ${\hat{y}}_i$ 表示的是对第 i 个样本的预测值。所以损失函数为：

    $L(ww,b)=\sum _{i=1}^n\frac{1}{2}(y_i-{\hat{y}}_i{)}^2=\sum _{i=1}^n\frac{1}{2}(({ww}^T{xx}_i+b)-y_i{)}^2=\frac{1}{2}(xxww-yy{)}^T(xxww-yy)$

  在训练模型时，我们希望寻找一组参数 $({ww}^{\ast },b^{\ast })$， 这组参数能最小化在所有训练样本上的总损失。如下式：

    ${ww}^{\ast },b^{\ast }=argmi{n}_{ww,b}L(ww,b)$

  由于此函数$L(ww,b)$是凸函数，所以极值点是最小值点。利用上述公式开始推导：

化简

  $L(ww,b)=\frac{1}{2}(xxww-yy{)}^T(xxww-yy)$
    $=\frac{1}{2}((xxww{)}^T-{yy}^T)(xxww-yy)$
    $=\frac{1}{2}({ww}^T{xx}^T-{yy}^T)(xxww-yy)$
    $=\frac{1}{2}({ww}^T{xx}^{T}xxww-{ww}^T{xx}^{T}yy-{yy}^{T}xxww+{yy}^{T}yy)$
注:

$\frac{\partial {ww}^{T}AAww}{\partial ww}=2Aw2Aw$

$\frac{\partial w^{T}A{w}^{T}A}{\partial ww}=AA$

$\frac{\partial AwAw}{\partial ww}={AA}^T$

对$ww$进行求导:

$\frac{\partial L}{\partial ww}=[\frac{1}{2}({ww}^T{xx}^{T}xxww-{ww}^T{xx}^{T}yy-{yy}^{T}xxww+{yy}^{T}yy)]$

$=\frac{1}{2}[({ww}^T{xx}^{T}xxww{)}^{\prime }-({ww}^T{xx}^{T}yy{)}^{\prime }-({yy}^{T}xxww{)}^{\prime }+({yy}^{T}yy{)}^{\prime }]$

$=\frac{1}{2}[2{xx}^{T}xxww-{xx}^{T}yy-({yy}^{T}xx{)}^T]$

$=\frac{1}{2}[2{xx}^{T}xxww-2{xx}^{T}yy]$

$=x^{T}xw{x}^{T}xw-x^{T}y{x}^{T}y$

假设我们找到了最优解，即梯度为0。将损失关于$ww$的导数设为0，得到解析解：

$w^{\ast }{w}^{\ast }=({xx}^{T}xx{)}^{-1}{xx}^{T}yy$

或者当样本 $i$ 的预测值为${\hat{y}}_i$，其相应的真实标签为$y_i$时， 平方误差可以定义为以下公式：

    $l_i(ww,b)=\frac{1}{2}({\hat{y}}_i-y_i{)}^2$

由于平方误差函数中的二次方项， 估计值 ${\hat{y}}_i$ 和观测值 $y_i$ 之间较大的差异将导致更大的损失。 为了度量模型在整个数据集上的质量，我们需计算在训练集个样本上的损失均值（也等价于求和）

    $L(ww,b)=\frac{1}{n}\sum _{i=1}^n{l}_i(ww,b)=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}({ww}^T{xx}_i+b-y_i{)}^2$

为了简化问题，可以忽略偏置（我们可以通过向添加所有值为1的一列来做到这一点）。也就是

$X\leftarrow [x,1]X\leftarrow [x,1]$

$w\leftarrow \left[\begin{array}{c}w\\ b\end{array}\right]w\leftarrow \left[\begin{array}{c}w\\ b\end{array}\right]$

至此我们的预测问题(推导出使用平方误差的线性回归优化问题的解析解)是最小化

    $l(X,y,wX,y,w)=\frac{1}{2n}||y-Xwy-Xw|{|}^2$

注：

$\frac{\partial ||x^2||}{\partial x}=2x^T$

$\frac{\partial Ax}{\partial x}=A$

计算损失函数对$ww$的梯度

$\frac{\partial }{\partial ww}l(X,y,w)l(X,y,w)=\frac{1}{n}(y-Xwy-Xw{)}^{T}X$

由于此函数$l(X,y,wX,y,w)$是凸函数，所以极值点是最小值点。也就是在损失平面上只有一个临界点，这个临界点对应于整个区域的损失极小点。

将损失函数关于$ww$的导数设为0，求解矩阵方程来找到解析解

$\frac{\partial }{\partial ww}l(X,y,w)l(X,y,w)=\frac{1}{n}(y-Xwy-Xw{)}^{T}X=0$

得到最优解

$w^{\ast }{w}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y(X^{T}X{)}^{-1}{X}^{T}y$