数学表达式: 从恐惧到单挑 (9. 线性回归)

9. 线性回归

线性回归是一个常用的机器学习算法.

9.1 示例

表 1. 单变量股价预测

时间 (天)	股价
1	10
2	11
3	?

令 $x$ 表示第 $x$ 天, $y=f(x)$ 表示第 $x$ 天的股价.
建立线性模型:
$$y=f(x)=ax+b$$
求系数 $a$ 和 $b$.
解:
$\{\begin{array}{l}10=1a+b\\ 11=2a+b\end{array}\Rightarrow \{\begin{array}{l}a=1\\ b=9\end{array}\Rightarrow f(x)=x+9$
源码: \left{\begin{array}{l}10 = 1 a + b \ 11 = 2a + b\end{array}\right. \Rightarrow \left{\begin{array}{l}a = 1 \ b = 9 \end{array}\right. \Rightarrow f(x) = x + 9.
将 $x=3$ 代入, 可以预测第 3 天的股价为 12 元.

表 2. 多变量股价预测

时间 (天)	外围股指	股价
1	25000	10
2	25500	11
3	25600	11.4
4	25800	?

令 $x_1$ 表示时间, $x_2$ 表示外围股指, $y$ 表示股价.
建立线性模型:
$$y=f(x_1,x_2)=a_1{x}_1+a_2{x}_2+b\text{\hspace{1em}(1)}$$
由于有三个变量 $a_1$, $a_2$, $b$, 我们需要用三天的数据获得它们.
$\{\begin{array}{l}10=1a_1+25000a_2+b\\ 11=2a_1+25500a_2+b\\ 11.4=3a_1+25600a_2+b\end{array}$
然后就可以对第 4 天的股价进行预测.

当自变量 (属性) 较多时, 这样写太麻烦.
可将第 $i$ 天的数据写成向量 ${\mathbf{x}}_i=[x_{i1},\dots ,x_{im}]$, 相应系数写为 $\mathbf{w}=[w_1,\dots ,w_m{]}^{\mathrm{T}}$. 则 (1) 式可改写为
$$y_i={\mathbf{x}}_i\mathbf{w}+b\text{\hspace{1em}(2)}$$
进一步地, 扩展 ${\mathbf{x}}_i=[x_{i0},x_{i1},\dots ,x_{im}]$, 其中 $x_{i0}\equiv 1$. 源码: x_{i0} \equiv.
同时扩展 $\mathbf{w}=[w_0,w_1,\dots ,w_m{]}^{\mathrm{T}}$, 其中 $w_0=b$. 则 (2) 式改写为
$$y_i={\mathbf{x}}_i\mathbf{w}\text{\hspace{1em}(3)}$$

该方案看起来完美, 但在实际数据中, $m$ 个属性远远不止 $m+1$条训练数据, 这里我们需要更复杂的方案.

9.2 拟合

图 1 线性回归示意图

给定数据集 $\mathbf{X}=[x_{ij}{]}_{n\times (m+1)}$ 与其标签 $\mathbf{Y}=[y_1,\dots ,y_n{]}^{\mathrm{T}}$. 线性回归的目的是获得一个系数向量 $\mathbf{w}$ (它是 $(m+1)\times 1$ 列向量) 使得
$\mathbf{X}\mathbf{w}\approx \mathbf{Y}$, 源码: \mathbf{X} \mathbf{w} \approx \mathbf{Y}. 或者更准确地说, 是
$$\underset{\mathbf{w}}{\mathrm{argmin}}||\mathbf{X}\mathbf{w}-\mathbf{Y}|{|}_2^2\text{\hspace{1em}(1)}$$
源码: \argmin_{\mathbf{w}} ||\mathbf{X} \mathbf{w} - \mathbf{Y}||_2^2, 双竖线在 Latex 中换成 \| 表示.
注意这里已经扩展了 $\mathbf{X}$ 和 $\mathbf{w}$.

表 2 对应的
$$\mathbf{X}=\left[\begin{array}{ccc}1& 1& 25000\\ 1& 2& 25500\\ 1& 3& 25600\end{array}\right]$$
源码:

分析:

• 我们希望用 ${\sum }_{j=0}^m{x}_{ij}{w}_j$ 来拟合 $y_j$.
• 对于新的实例 $\mathbf{x}$, 则将 $\mathbf{x}\mathbf{w}$ 作为 $y$ 的预测值.
• $\mathbf{X}$ 和 $\mathbf{w}$ 的维度分别为 $n\times (m+1)$ 和 $(m+1)\times 1$, 因此其乘积的维度为 $n\times 1$.
• 复习矩阵的乘法 $\mathbf{A}=\mathbf{U}\mathbf{V}$, 则 $a_{ij}$ 为 $\mathbf{U}$ 的第 $i$ 行与 $\mathbf{U}$ 第 $j$ 行的乘积.

9.2 推导

如何获得 $\mathbf{w}$?
推导过程:
$\begin{array}{ll}||\mathbf{X}\mathbf{w}-\mathbf{Y}|{|}_2^2& =(\mathbf{X}\mathbf{w}-\mathbf{Y}{)}^{\text{T}}(\mathbf{X}\mathbf{w}-\mathbf{Y})\\ & =({\mathbf{w}}^{\text{T}}{\mathbf{X}}^{\mathrm{T}}-{\mathbf{Y}}^{\mathrm{T}})(\mathbf{X}\mathbf{w}-\mathbf{Y})\\ & ={\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}-{\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}-{\mathbf{Y}}^{\mathrm{T}}\mathbf{X}\mathbf{w}+{\mathbf{Y}}^{\mathrm{T}}\mathbf{Y}\end{array}$
将该式关于 $\mathbf{w}$ 求导 (使用向量求导法则) 并令其为 0, 可得
${\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}-{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}=0$
最后
$\mathbf{w}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$.

更多知识见向量求导法则与 线性回归与最小二乘法.

9.3 岭回归

将优化目标改为
$$\underset{\mathbf{w}}{\mathrm{argmin}}||\mathbf{X}\mathbf{w}-\mathbf{Y}|{|}_2^2+\lambda ||\mathbf{w}|{|}_2^2\text{\hspace{1em}(2)}$$
可推导出
${\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}-{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}+\lambda \mathbf{w}=0$
最后
$\mathbf{w}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}+\lambda \mathbf{I}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$.

9.3 作业

自己写一个小例子 ($n=3$, $m=1$) 来验证最小二乘法.