机器学习中的线性回归

基本形式

给定由d个属性描述的示例$x=(x_1;x_2;...;x_d)$,其中$x_i$是$x$在第$i$个属性的取值，线性模型试图学的一个通过属性的线性组合在进行预测的函数，即

$$f(x)=w_1x_1+w_2x_2+...w_dx_d+b$$ 一般用向量形式写成 $$f(x)=w^Tx+b$$ 其中 $w=(w_1,w_2,...,w_d)$. $w$和$b$学得之后，模型就确定了。

思路

给定数据集$D={(x_1,y_1),(x_2,y_2),...,(x_m,y_m)}$, 其中$x_i=(x_{i1};x_{i2};...,x_{id}), y_i \in \mathbb{R}$.

试图学得

$$f(x_i)=w^Tx_i+b,使得f(x_i)\simeq y_i$$

采用均方误差（square loss）作为损失函数来衡量$f(x)$与$y$之间的差别。均方误差是回归任务中最常用的性能度量，具有非常好的几何意义，它对应了常用的“欧氏距离”(Euclidean distance)。基于均方误差来最小化来进行模型求解的方法称为“最小二乘法”(Least square method)。（最小二乘法用途很广，不仅限于线性回归）

最小二乘法求解过程

1. 将$w$和$b$吸收入向量形式$\hat{w}=(w;b)$, 相应的，数据集D表示为一个形状为$m*(d+1)$ 的矩阵$X$: $$X= {\left( \begin{array}{cc} x_{11}& x_{12} & ... & x_{1d} & 1 \\ x_{21} & x_{22} & ... & x_{2d} & 1 \\ \vdots & \vdots& \ddots&\vdots&\vdots \\ x_{m1}& x_{m2} & ... & x_{md} & 1 \end{array} \right)} = \left( \begin{array}{cc} x_1^T&1\\x_2^T&1\\\vdots&\vdots\\x_m^T&1\end{array} \right)$$ 再把标签也写成向量形式$y=(y_1;y_2;...;y_m)$.
   • 确立损失函数 $$E_{\hat w}=(y-X\hat w)^T(y-X\hat w)=\left \| y-X \hat w \right \|^2$$
   • 那么我们要做的是求$\hat w^*=\arg \underset{\hat w}{\min}E_{\hat w}=\arg \underset{\hat w}{\min}(y-X\hat w)^T(y-X\hat w)$. 这里$E_{\hat w}$是关于$w,b$的凸函数，当他关于$w$和$b$的导数均为零时，可以得到$w$和$b$的最优解。
   • 损失函数对$\hat w$求导： $$\frac{\partial E_{\hat w}}{\partial \hat w}=2X^T(X\hat w-y)$$ .
   • 令上式为零，解得$\hat w$最优解的闭式解。
   • 最优解的讨论：
     
     • 当$X^TX$为满秩矩阵或正定矩阵时，可解得 $$\hat{w}^*=(X^TX)^{-1}X^Ty$$ 其中$(X^TX)^{-1}$是矩阵$(X^TX)$的逆矩阵。此时，学到的线性回归模型为 $$f(\hat x_i)=\hat x_i^T(X^TX)^{-1}X^Ty$$
     • 现实任务中$X^TX$往往不是满秩矩阵，比如说有些任务中，样本特征数$d$大于样本数$m$，导致$X$的列数大于行数，此时$X^TX$不满秩。此时可解出多个$\hat w$，它们都能使均方误差最小化。选择哪一个解作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化。
     • 上述最优解公式涉及到了矩阵求逆的过程，在实际问题中，如果样本矩阵$X$的维度很大，那么求$X^TX$的逆矩阵就会很慢。这时可以不直接求解析解，而是用梯度下降等方法来求最优解。

   • 注：本文主要参考了周志华《机器学习》3.1&3.2节，以及Andrew Ng.的机器学习课程