应用机器学习（八）：线性模型

回归分析

在统计建模中，回归分析( Regression analysis ) 是用来刻画变量之间的统计关系的一种统计技术。当一个变量( 因变量 dependent variable )受另外一些变量( 自变量 independent variables or predictors )的强烈影响时，适宜用回归的方法。例如，”回归”的思想和方法最早由英国著名的统计学家F. Galton 和他的学生 K. Pearson 提出。他们在研究父母身高与其子女身高的遗传问题时，以每对夫妇的平均身高作为自变量 x, 而取他们的一个成年孩子的身高作为 y, 共观察了1,078对夫妇，建立了回归方程 y=33.73+0.516x, 从此产生了回归分析的方法。

回归模型

回归模型的一般形式

设因变量 $y$, 自变量向量 $\mathbf{x}=(x_1, x_2, \dots, x_p)$, 则刻画 $y$ 与 $\mathbf{x}$关系的回归模型的一般形式为

$$\begin{align*} y=f(\mathbf{x})+\varepsilon \tag{1} \end{align*}$$

其中， $\varepsilon$ 为随机误差，它表示除了 $\mathbf{x}$ 外的其它随机干扰因素。正是因为 $\varepsilon$ 的存在，给定 $\mathbf{x}$ 的值，不能唯一确定 $y$, 称这种变量关系为统计关系。随机变量 $\varepsilon$ 满足基本假设 $E(\varepsilon)=0$, 即零均值，它表示没有系统误差。

线性回归

线性回归( Linear regression ), 指的是 $y$ 与 $\mathbf{x}$ 之间是线性关系，即

$$\begin{align*} y=\beta_0+\beta_1 x_1 + \beta_2 x_2 + \dots + \beta_p x_p +\varepsilon \tag{2} \end{align*}$$
其中的参数 $\beta_0, \beta_1, \dots, \beta_p$ 称为回归系数。特别地， $p=1$, 即一个自变量时，称模型为一元线性回归。

假设有 $n$ 次观测数据 $( y_i; x_{i1}, x_{i2}, \dots, x_{ip} ),\, i=1,2,\dots, n$.
记$\mathbf{y}=(y_1, y_2, \dots, y_n)'$, $\mathbf{\beta}=(\beta_0, \beta_1, \dots, \beta_p)'$,
$\mathbf{\varepsilon}=(\epsilon_1, \epsilon_2, \dots, \epsilon_p)'$,

$$\begin{equation*} \mathbf{X}=\left( \begin{array}{ccccc} 1 & x_{11} & x_{12} & \dots & x_{1p}\\ 1 & x_{21} & x_{22} & \dots & x_{2p}\\ \vdots & \vdots & \vdots & & \vdots\\ 1 & x_{n1} & x_{n2} & \dots & x_{np}\\ \end{array} \right) \end{equation*}$$

则观测数据的线性回归模型可以表示为

yi=β0+β1xi1+β2xi2+⋯+βpxip+ε