线性回归模型（OLS）1

本系列文章基于R语言中lm函数的输出，介绍线性回归模型的例子和原理。

本文是系列文章的第一篇，将介绍线性回归模型的定义并给出一个R语言的示例。

线性回归模型是我们日常工作中处理数据时经常使用的一种基础模型。了解线性回归模型的原理和细节有助于我们学习其他模型，如广义线性模型（GLM模型）。
本文包括以下四个小节：
1. 定义
2. 示例：mtcars数据集
3. 模型推导
4. 附录代码

以下文章为免费试读部分，完整文章可到 公号“生信了”付费阅读

1. 定义

假设我们观察到一些数据 { x i , y i } i = 1 n \{\mathbf{x}_i, y_i\}_{i=1}^n {xi​,yi​}i=1n​，其中${\mathbf{x}}_i=(x_{i1},x_{i2},\dots ,x_{ip}{)}^{\mathsf{T}}$，线性回归模型研究因变量$y_i$和自变量${\mathbf{x}}_i$之间的关系：

$$\begin{array}{rl}{y}_i& ={\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip}+{ϵ}_i\\ & =\sum _{j=0}^p{\beta }_j{x}_{ij}+{ϵ}_i,(x_{i0}=1)\end{array}\text{\hspace{1em}(1.1)}$$

其中${\beta }_j$是回归系数，是我们要求解的模型参数；而${ϵ}_i$是误差项，代表观测值$y_i$与理论值${\sum }_{j=0}^p{\beta }_j{x}_{ij}$之间的偏差。这里我们需要注意的是线性回归模型中的“线性”是针对回归系数而言的，也就是说模型可以泛化为：

$$\begin{array}{rl}{y}_i& ={\beta }_0+{\beta }_1{\varphi }_1(x_{i1})+{\beta }_2{\varphi }_2(x_{i2})+\cdots +{\beta }_p{\varphi }_p(x_{ip})+{ϵ}_i\\ & =\sum _{j=0}^p{\beta }_j{\varphi }_j(x_{ij})+{ϵ}_i,({\varphi }_0(x_{i0})=1)\end{array}\text{\hspace{1em}(1.2)}$$

其中${\varphi }_j(\cdot )$可以是“非线性”函数（比如二次函数）。

我们希望模型的“拟合值”尽可能接近观测值。有多个指标可以用来衡量这个“接近”的程度，其中最常用的就是误差项的平方，也就是${ϵ}_i^2$。在此指标下，最优的模型应该是让所有观测数据的误差项平方的和最小，也就是让“损失”$L$最小化：

$$\begin{array}{rl}L& =\sum _{i=1}^n{ϵ}_i^2\\ & =\sum _{i=1}^n{\left(y_i-\sum _{j=0}^p{\beta }_j{x}_{ij}\right)}^2\end{array}\text{\hspace{1em}(1.3)}$$

我们可以用矩阵形式来重新描述上面的式子（注意到$L$是${\beta }_j$的函数）：

$$\begin{array}{r}L=S(\mathbf{\beta })=\Vert \mathbf{y}-\mathbf{X}\mathbf{\beta }{\Vert }^2\end{array}\text{\hspace{1em}(1.4)}$$

其中$\mathbf{y}=(y_1,y_2,\dots ,y_n{)}^{\mathsf{T}}$，$\mathbf{\beta }=({\beta }_0,{\beta }_1,\dots ,{\beta }_p{)}^{\mathsf{T}}$，而$\mathbf{X}$稍微复杂一点，

$$\begin{array}{c}\mathbf{X}=\left(\begin{array}{ccccc}1& x_{11}& x_{12}& \cdots & x_{1p}\\ 1& x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right)\end{array}\text{\hspace{1em}(1.5)}$$

此时，我们要求解的模型最优参数（用$\hat{\mathbf{\beta }}$表示）就是：

$$\begin{array}{rl}\hat{\mathbf{\beta }}& =\arg \underset{\mathbf{\beta }}{\min }\Vert \mathbf{y}-\mathbf{X}\mathbf{\beta }{\Vert }^2\end{array}\text{\hspace{1em}(1.6)}$$

我们可以比较容易地得到$\hat{\mathbf{\beta }}$的解析解，

$$\begin{array}{c}\hat{\mathbf{\beta }}=({\mathbf{X}}^{\mathsf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathsf{T}}\mathbf{y}\end{array}\text{\hspace{1em}(1.7)}$$

具体的推导过程见“模型推导”小节。上面这种根据最小误差平方和求解模型参数的方法称为普通最小二乘法（OLS），是最小二乘法中最常见的一种（其它包括加权最小二乘等）。

下文首先给出一个R语言中线性回归模型的例子，然后介绍其背后的原理。

2. 示例：mtcars数据集

很多人都了解，我们可以通过R语言中lm函数进行线性回归模型的分析。我们利用R语言中自带的mtcars数据集给出一个示例。mtcars数据集包含了32个品牌/型号的汽车11种不同属性的测量值。