机器学习之最小二乘线性回归原理解读与公式推导

(Ordinary) Least Squares Linear Regression

一、条件

样本集呈线性分布

二、原理

用一个超平面/直线去拟合样本集，使样本点的标签值与预测值的差的平方和最小

注：不是样本点到直线的距离最小

$h(x_{i1},x_{i2},\cdots ,x_{id})=\sum _{j=1}^d{w}_j{x}_{ij}-\theta$ , $i=1,2,\cdots ,n$

令 $x_{i0}=1$ , $w_0=\theta$ , $i=1,2,\cdots ,n$ 即 ${\vec{x}}_i={\left[\begin{array}{ccccc}1& x_{i1}& x_{i2}& \cdots & x_{id}\end{array}\right]}^T$ , $\vec{w}={\left[\begin{array}{ccccc}\theta & w_1& w_2& \cdots & w_d\end{array}\right]}^T$ 则 $h({\vec{x}}_i)={\vec{w}}^T\cdot {\vec{x}}_i$

1. 构造损失函数

   $L(h)=\frac{1}{n}\sum _{i=1}^n(h({\vec{x}}_i)-y_i{)}^2$ ，即均方误差

2. 求损失函数取最小值时对应的假设 $h$

   假设 $h$ 与 $\vec{w}$ 有关，将 $L(h)$ 化为自变量为 $\vec{w}$ 的函数

   得 $L(\vec{w})=\frac{1}{n}\sum _{i=1}^n({\vec{w}}^T\cdot {\vec{x}}_i-y_i{)}^2$

   令 $\mathbf{X}={\left[\begin{array}{cccc}{\vec{x}}_1^T& {\vec{x}}_2^T& \cdots & {\vec{x}}_n^T\end{array}\right]}^T$ ，$\vec{y}={\left[\begin{array}{cccc}{y}_1& y_2& \cdots & y_n\end{array}\right]}^T$

   得 $L(\vec{w})=\frac{1}{n}(\mathbf{X}\cdot \vec{w}-\vec{y}{)}^T\cdot (\mathbf{X}\cdot \vec{w}-\vec{y})$

   ​ $=\frac{1}{n}({\vec{w}}^T{\mathbf{X}}^T\mathbf{X}\vec{w}-{\vec{w}}^T{\mathbf{X}}^T\vec{y}-{\vec{y}}^T\mathbf{X}\vec{w}+{\vec{y}}^T\vec{y})$

   ​ $=\frac{1}{n}({\vec{w}}^T{\mathbf{X}}^T\mathbf{X}\vec{w}-2{\vec{w}}^T{\mathbf{X}}^T\vec{y}+{\vec{y}}^T\vec{y})$ ，因为 ${\vec{w}}^T{\mathbf{X}}^T\vec{y}$ 与 ${\vec{y}}^T\mathbf{X}\vec{w}$ 均为 $1\times 1$ 矩阵

   1. 梯度下降法

   2. 解析法

      求 ${\vec{w}}^{\ast }$ 使 $\frac{\partial }{\partial \vec{w}}L({\vec{w}}^{\ast })=0$ ，则 ${\vec{w}}^{\ast }$ 即为 $L(\vec{w})$ 对最优解（凸优化问题）

      $\frac{\partial }{\partial \vec{w}}L(\vec{w})=2{\mathbf{X}}^T\mathbf{X}\vec{w}-2{\vec{y}}^T\mathbf{X}$

      $2{\mathbf{X}}^T\mathbf{X}{\vec{w}}^{\ast }-2{\vec{y}}^T\mathbf{X}=0$

      ${\vec{w}}^{\ast }=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\vec{y}}^T\mathbf{X}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\vec{y}$