回归分析学习笔记（一）：尽量详细且说人话

1. 介绍引入

首先，我们要对回归分析有一个感性的认知，什么是回归分析？回归分析是用来做什么的？回归分析和其他统计分析方法比如相关分析有什么联系？回归分析的分类等等。

在很多情况下，一个变量的变化能完全决定另一种变量的变量的变化，二者之间存在确定性的函数关系。例如银行一年期存款利率为2.55%，若本金用 $x$ 表示，到期本息用 $y$ 表示，则 $y=x+2.55\%x$。但是在现实世界中，还有不少情况是事物之间有着密切的关系，但还没有到由一个完全确定另一个的程度，其原因可能是问题的复杂性，人们认识的局限性，试验或测量误差等等。在统计推断中，把上述变量间有密切关系而又不能由一个或一些变量唯一确定另外一个变量的关系，称为变量间的统计关系或相关关系，这种统计关系规律性的研究已形成两个重要分支：相关分析和回归分析。

相关分析（correlation analysis）是研究两个或两个以上处于同等地位的随机变量间的相关关系的统计分析方法。
回归分析（regression analysis) 指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

讨论：相关分析与回归分析的区别和联系

• 变量地位不同：回归分析中， $y$ 指因变量，处于被解释的特殊地位；相关分析中各变量处于平等地位，即研究变量 $y$与变量 $x$ 的密切程度和研究变量 $x$与变量 $y$ 的密切程度是一样的。
• 变量性质不同：回归分析中，因变量 $y$ 是随机变量，自变量 $x$ 既可以是随机变量，也可以是确定变量，但通常总是假定 $x$ 是非随机的固定变量；相关分析中所涉及的都为随机变量。
• 研究侧重点不同：回归分析侧重于研究随机变量间的依赖关系，因此要事先确定自变量和因变量，从而用自变量去推测因变量，通过确切地指出变量间相互关系的具体形式，对变量进行预测和控制；相关分析侧重于发现随机变量间的种种相关特性，以及相互关系的密切程度，不必确定自变量和因变量，不指出相互关系的具体形式。
• 二者之间的联系：具体应用时二者常常相互补充，相关分析依靠回归分析表明数量关系的具体形式，回归分析依靠相关分析表明相关的程度，只有变量之间存在高度相关时，进行回归分析才有意义。总结：相关分析是回归分析的基础和前提，回归分析是相关分析的深入和继续。

回归分析按照涉及的自变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

那么，先从最简单的一元线性回归开始，详细介绍回归分析的具体原理~

2. 一元线性回归

2.1 模型建立

一元线性回归模型只考虑一个自变量和一个因变量之间的关系，其数学形式为：$$y={\beta }_0+{\beta }_{1}x+ϵ\text{\hspace{1em}(1)}$$ 这个式子被称为一元线性回归理论模型。其中，${\beta }_0,{\beta }_1$ 为未知参数 ${\beta }_0$ 是回归常数，${\beta }_1$ 为回归系数，$ϵ$ 表示其他随机因素的影响，它是一个随机变量。这个式子看起来很简单，但是它充分表达了 $x$ 和 $y$ 之间密切相关，但由于 $ϵ$ 的存在不能唯一确定。$x$ 和 $y$ 之间的关系由两个部分描述：一部分是由于 $x$ 的变化引起的 $y$ 的线性变化，另一部分是由其他一切随机因素引起的。

既然 $ϵ$ 是随机变量，意味着能对其进行求期望、方差、协方差、分布等一系列操作。这就要介绍线性回归中的几个重要假设。

讨论：几个重要假设

对于某个实际问题，获得 $n$ 组样本观测值$(x_1,y_1),...,(x_n,y_n)$，它们符合模型 $$y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i\text{\hspace{1em}(2)}$$我们做如下假设：

（1）自变量是非随机变量。（这一点之前也提过

（2）$\{\begin{array}{l}E({ϵ}_i)=0\\ D({ϵ}_i)={\sigma }^2\end{array}$ （高斯-马尔可夫条件）

（3）${ϵ}_i\sim N(0,{\sigma }^2)$，${ϵ}_1,...,{ϵ}_n$ 是相互独立的 (为了方便对参数做区间估计和假设检验)
.

现在，对这个式 (2) 两端分别求期望和方差：
$$E(y_i)=E({\beta }_0+{\beta }_1{x}_i)+E({ϵ}_i)={\beta }_0+{\beta }_1{x}_i\text{\hspace{1em}(3)}$$ $$D(y_i)=D({\beta }_0+{\beta }_1{x}_i+{ϵ}_i)=D({ϵ}_i)={\sigma }^2\text{\hspace{1em}(4)}$$

从中可以看出，随机变量 $y_1,...,y_n$ 期望不等，方差相等，它们是相互独立的随机变量，但并不同分布，$y_i\sim N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$。

重点看 (3) , 对 (3) 的正确理解非常重要。$E(y_i)={\beta }_0+{\beta }_1{x}_i$ 从平均意义上表达了变量 $y$ 与 $x$ 的统计规律性，也就是说，回归是对均值的回归，我们所关注的正是这个期望。怎么来理解这件事情呢？

首先要明确，我们一再强调这是一种非确定性关系。举例来说，现要探究人身高(自变量)与体重(因变量)之间的关系，每一个身高值 $x$ 都对应了一个体重 $y$ 的概率分布，而不是一个具体确切的值。比如，一个人身高为165cm，ta的体重可能是40kg,50kg,60kg,70kg… 我们并不知道是多少，但我们会觉得在身高为165cm的条件下，ta的体重很可能是50kg，当然也可能是70kg，只是这个概率要小得多。同样的，如果 $x$ 是180cm，$y$ 的概率分布是什么样的呢？我们觉得，体重 $y$ 是40kg 对应的概率小，而更可能是60或70kg，这就是 $x$ 对应 $y$ 的概率分布的意思。我们要计算出对于给定的 $x$ ，其对应 $y$ 的概率分布的期望是多少，并认为这个值是最有可能的 $y$ 值。基于这个思想，可以给出如下的表达，它代表随机变量 $y$ 对 $x$ 的均值回归函数： $$f(x)=E(y|x)\text{\hspace{1em}(5)}$$

2.2 参数估计

现在我们的主要任务就是利用 $n$ 组观测值去估计 ${\beta }_0,{\beta }_1$ 的值，将估计值记作 $\widehat{{\beta }_0},\widehat{{\beta }_1}$，则称$$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x\text{\hspace{1em}(6)}$$ 为 $y$ 关于 $x$ 的一元线性经验回归方程。

采用普通最小二乘估计OLS，对每一个样本观测值$(x_i,y_i)$，考虑使观测值 $y_i$ 与其回归值 $\widehat{y_i}$ 的离差越小越好，综合得考虑 $n$ 个离差值，定义离差平方和$$Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2\text{\hspace{1em}(7)}$$ 找到${\beta }_0,{\beta }_1$的估计值 $\widehat{{\beta }_0},\widehat{{\beta }_1}$令 $Q$ 最小，得到 $\widehat{y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$ 称为回归值或拟合值，$e_i=y_i-\widehat{y_i}$是残差。

讨论：离差、残差和误差

这篇博客对离差、残差和误差的区别和联系 做了比较详细的解释。对其做个简单的梳理总结：

• 离差：观测值和平均值之差 $d_i=y_i-\overline{y}$，离差平方和也就是常说的SST。
• 残差：观测值和拟合值之差 $e_i=y_i-\widehat{y_i}$，残差平方和也即SSE，也叫和方差。
• 误差：在此处指 $ϵ$ ，它是衡量模型总体性质的一个指标，而与样本无关。误差描述了总体的性质，而残差描述了样本点的性质。

题话外，此处顺便一起介绍几个平方和以及SST的分解。

• 离差平方和 $SST=\sum _{i=1}^n(y_i-\overline{y}{)}^2$

• 残差平方和 $SSE=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$

• 回归平方和 $SSR=\sum _{i=1}^n(\widehat{y_i}-\overline{y}{)}^2$
  $$离差平方和分解定理：SST=SSE+SSR$$

• 均方差：和方差的平均，即和方差除样本数，常作为机器学习中的损失函数。$$MSE=\frac{1}{n}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$$

• 均方根：均方差的平方根，也叫回归系统的拟合标准差 $RMSE=\sqrt{MSE}$

下面就是最小二乘估计的具体操作，怎么用最小二乘法得到估计值 $\widehat{{\beta }_0},\widehat{{\beta }_1}$ 呢？我们理一理思路，这个估计值要令离差平方和最小，那么自然而然想到求导数，导数为0的点就是极值点。

$$\{\begin{array}{l}\frac{\partial Q}{\partial {\beta }_0}=-2\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)=0\\ \\ \frac{\partial Q}{\partial {\beta }_1}=-2\sum _{i=1}^n{x}_i(y_i-{\beta }_0-{\beta }_1{x}_i)=0\end{array}\text{\hspace{1em}(8)}$$

求解这个方程组得：$$\{\begin{array}{l}\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}\\ \\ \widehat{{\beta }_1}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\end{array}\text{\hspace{1em}(9)}$$

到这里参数估计的过程就结束了，进行下一部分之前，再观察一下这些关系式，看看能不能得到其他一些结论。

首先，得到 $\widehat{{\beta }_0},\widehat{{\beta }_1}$ 之后，我们的回归直线可以写成 $\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$，把坐标点$(\overline{x},\overline{y})$ 代入是成立的。这个意思是回归直线通过点$(\overline{x},\overline{y})$，即样本点的重心。

其次，$e_i=y_i-\widehat{y_i}=y_i-{\beta }_0-{\beta }_1{x}_i$，由 (8) 不难得到 $\sum _{i=1}^n{e}_i=0$ 。

2.3 最小二乘估计的性质

最小二乘估计是一种点估计的方法，对点估计通常会进行优良性的评判，比如是不是无偏的，是否有效等等，这部分就是做这些工作。

2.3.1 线性性

线性性是指估计量$\widehat{{\beta }_0},\widehat{{\beta }_1}$ 是随机变量 $y_i$ 的线性函数，所以$\widehat{{\beta }_0},\widehat{{\beta }_1}$ 也是随机变量，也有其概率分布、均值、方差等等。具体怎么看出线性性呢？要进行一点点的推导，我们主要来看 $\widehat{{\beta }_1}$：

对于 $\widehat{{\beta }_1}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}$，其分子可以写成 $\sum _{i=1}^n(x_i-\overline{x})y_i-\sum _{i=1}^n(x_i-\overline{x})\overline{y}$ ，而 $\sum _{i=1}^n(x_i-\overline{x})\overline{y}=0$（为什么为0？因为 $\overline{y}$ 是常数/定值，和求和号没关系，可以提到前面去，而$\sum _{i=1}^n(x_i-\overline{x})=\sum _{i=1}^n{x}_i-n\overline{x}=0$. 所以最终得到：$$\widehat{{\beta }_1}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})y_i}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}=\sum _{i=1}^n\frac{x_i-\overline{x}}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}{y}_i\text{\hspace{1em}(10)}$$所以看出 $\widehat{{\beta }_1}$ 是 $y_i$ 的线性组合。

2.3.2 无偏性

无偏性 若参数 $\theta$ 的估计量 $\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)$ 满足$E(\hat{\theta })=\theta$ , 则称 $\hat{\theta }$ 是 $\theta$的一个无偏估计量。

无偏性是对估计量的基本要求，具有系统误差为0的特点。也就是说，这个估计量在多次试验的结果中，在待估参数附近随机摆动，并使这个估计量的平均值恰好就是待估参数。在线性回归里的意义是，如果屡次变更数据，反复求 $\widehat{{\beta }_0},\widehat{{\beta }_1}$的估计值，这两个估计量没有高估或低估的趋向，反复求得的估计量的平均值将趋向于 ${\beta }_0,{\beta }_1$

下面就要进行数学证明，以 $\widehat{{\beta }_1}$ 为例，目标就是要证得 $E(\widehat{{\beta }_1})={\beta }_1$，因为 $x_i$ 是非随机变量，所以在（10）的基础上可以得到
$$E(\widehat{{\beta }_1})=\sum _{i=1}^n\frac{x_i-\overline{x}}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}E(y_i)\text{\hspace{1em}(11)}$$ 再由（3）进一步得到 $$\begin{array}{rl}E(\widehat{{\beta }_1})& =\sum _{i=1}^n\frac{x_i-\overline{x}}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}({\beta }_0+{\beta }_1{x}_i)\\ & \\ & =\frac{{\sum }_{i=1}^n(x_i-\overline{x})({\beta }_0+{\beta }_1{x}_i)}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\\ & \\ & =\frac{{\sum }_{i=1}^n(x_i-\overline{x}){\beta }_0+{\sum }_{i=1}^n(x_i-\overline{x}){\beta }_1{x}_i}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\end{array}\text{\hspace{1em}(12)}$$ 而 ${\sum }_{i=1}^n(x_i-\overline{x}){\beta }_0=0$，$\sum (x_i-\overline{x})x_i=\sum (x_i-\overline{x}{)}^2$，所以 $E(\widehat{{\beta }_1})={\beta }_1$。

进一步有 :$$E(\hat{y})=E(\widehat{{\beta }_0}+\widehat{{\beta }_1}x)={\beta }_0+{\beta }_{1}x=E(y)\text{\hspace{1em}(13)}$$说明回归值 $\hat{y}$ 是 $E(y)$ 的无偏估计， $\hat{y}$ 与真实值 $y$ 的平均值是相同的。

2.3.3 有效性

有效性 ： $\widehat{{\theta }_1}$ 和 $\widehat{{\theta }_2}$ 都是无偏估计量，如果$D(\widehat{{\theta }_1})<D(\widehat{{\theta }_2})$，则$\widehat{{\theta }_1}$ 比 $\widehat{{\theta }_2}$ 有效。也就是说，在期望相等的条件下，方差小的估计的效果更好，因为方差小即随机变量取值的波动程度小，反复抽取容量为 $n$ 的样本建立回归方程比较稳定。

那现在看看我们计算得到的估计值 $\widehat{{\beta }_0},\widehat{{\beta }_1}$ 的方差具体是什么吧。对（10）两边取方差，且根据（4）可知 $D(y_i)={\sigma }^2$ ，故：$$\begin{array}{rl}D(\widehat{{\beta }_1})& =\sum _{i=1}^n[\frac{x_i-\overline{x}}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}{]}^{2}D(y_i)\\ & ={\sigma }^2\sum _{i=1}^n\frac{(x_i-\overline{x}{)}^2}{[{\sum }_{i=1}^n(x_i-\overline{x}{)}^2{]}^2}\\ & =\frac{{\sigma }^2}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\end{array}\text{\hspace{1em}(14)}$$
类似的，对 $\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}$ 两端取方差，得到：$$\begin{array}{rl}D(\widehat{{\beta }_0})& =D(\overline{y}-\widehat{{\beta }_1}\overline{x})\\ & =D(\overline{y})+D(\widehat{{\beta }_1}\overline{x})\\ & =\frac{{\sigma }^2}{n}+{\overline{x}}^{2}D(\widehat{{\beta }_1})\\ & =[\frac{1}{n}+\frac{{\overline{x}}^2}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}]{\sigma }^2\end{array}\text{\hspace{1em}(15)}$$ 其中用到了 $D(\overline{y})=D(\frac{1}{n}{\sum }_{i=1}^n{y}_i)=\frac{1}{n^2}D(y_1+...+y_n)=\frac{1}{n^2}[D(y_1)+...+D(y_n)]=\frac{1}{n^2}n{\sigma }^2=\frac{{\sigma }^2}{n}$

从这个表达式中，可以得到对实际应用有指导意义的思想：

• 回归系数 $\widehat{{\beta }_1}$ 和随机误差的方差 ${\sigma }^2$ 有关；
• 回归系数 $\widehat{{\beta }_1}$ 还和 $x$ 取值波动程度有关，如果 $x$ 取值比较分散， 估计值 $\widehat{{\beta }_1}$ 就比较稳定；
• 回归常数 $\widehat{{\beta }_0}$ 除了和 ${\sigma }^2$ 以及 $x$ 取值波动程度有关之外，还和样本容量 $n$ 有关，数据 $n$ 越大，$D(\widehat{{\beta }_0})$ 就越小。

所以，在收集数据时，要使得x的值尽量分散一些，样本量也应尽可能大，否则估计量的稳定性不会太好。

最后，再介绍此处的一个结论：在Gauss-Markov条件下，我们用最小二乘法得到的 $\widehat{{\beta }_0}$和$\widehat{{\beta }_1}$ 分别是 ${\beta }_0$ 和 ${\beta }_1$ 的最佳线性无偏估计（Best linear unbiased estimate, BLUE），即指在 ${\beta }_0$ 和 ${\beta }_1$ 的一切线性无偏估计中，它们的方差最小。

2.4 显著性检验

求得的回归方程不能马上用，还需要进行检验，看其是否真正描述了y和x之间的统计规律性。进行检验时，通常需要正态性假设 ${ϵ}_i\sim N(0,{\sigma }^2)$，我们所用的t检验，F检验方法都只适用于正态总体。

2.4.1 对回归系数的显著性检验——t检验

t 分布 : 设 $X\sim N(0,1),Y\sim {\chi }^2(n)$,且 $X$与 $Y$ 相互独立，则称 $t=\frac{X}{\sqrt{Y/n}}$ 服从自由度为 n 的 t 分布。

t 检验即构造的统计量服从 t 分布的假设检验。t检验的前提是要求样本服从正态分布或近似正态分布。在回归分析中，t 检验用于检验回归系数的显著性，即自变量对因变量的影响程度是否显著。

（1）原假设：$H_0:{\beta }_1=0$，备择假设：$H_1:{\beta }_1\ne 0$
（2）构造t统计量：$\frac{\widehat{{\beta }_1}}{\sqrt{{\hat{\sigma }}^2/L_{xx}}}\sim t(n-2)$ 其中$L_{xx}=\sum _{i=1}^n(x_i-\overline{x}{)}^2,{\hat{\sigma }}^2=\frac{1}{n-2}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$
（3）给定显著性水平 $\alpha$ ，双侧检验的临界值 $t_{\alpha /2}$
（4）计算统计量的值，当统计量的值 $|t|\ge t_{\alpha /2}$，落入拒绝域，拒绝原假设，认为 ${\beta }_1$ 显著不为0 ，因变量 $y$ 对自变量 $x$ 的一元线性回归成立。

2.4.2 对回归方程的显著性检验——F检验

F分布： 设 $X\sim {\chi }^2(n),Y\sim {\chi }^2(m)$ ,且 $X$与 $Y$ 相互独立，则称 $F=\frac{X/n}{Y/m}$ 服从自由度为 n,m 的 F 分布。它是两个服从卡方分布的独立随机变量各除以其自由度后的比值的抽样分布，是一种非对称分布，且位置不可互换。F分布有着广泛的应用，如在方差分析、回归方程的显著性检验中都有着重要的地位。

F检验就是构造的统计量服从F分布的假设检验。在回归分析中，F检验根据平方和分解式，直接从回归效果检验回归方程显著性。$$\begin{array}{rl}SST& =SSR+SSE\\ \sum _{i=1}^n(y_i-\overline{y}{)}^2& =\sum _{i=1}^n(\widehat{y_i}-\overline{y}{)}^2+\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2\end{array}$$ 总平方和SST反应因变量的波动程度或不确定性；SSR是由回归方程确定的，是由自变量 $x$ 的波动引起的；SSE是不能用自变量解释的波动，是由 $x$ 之外未加控制的因素引起的。

这样，就将总平方和SST分解为由自变量解释的部分和不能用自变量解释的部分，那么自变量可以解释的部分SSR占比越大，说明回归方程效果越好。据此构造F统计量：

（1）原假设：$H_0:{\beta }_1=0$，备择假设：$H_1:{\beta }_1\ne 0$
（2）构造F统计量：$\frac{SSR/1}{SSE/(n-2)}\sim F(1,n-2)$
（3）给定显著性水平 $\alpha$ ，单侧检验的临界值 $F_{\alpha }$
（4）计算统计量的值，当统计量的值 $F>F_{\alpha }$，落入拒绝域，拒绝原假设，认为回归方程显著。

此处的原假设看似和回归系数的检验相同，但这只是一元线性回归的特殊情况，例如多元线性回归F检验的原假设应为$H_0:{\beta }_1={\beta }_2=...={\beta }_n=0$

2.4.3 样本决定系数

从上面也可以知道，回归平方和所占的比重越大说明线性回归效果越好，回归直线和样本观测值的拟合优度越好，因此构造了一个参数叫样本决定系数，直接反映回归平方和和总离差平方和之比。$$R^2=\frac{SSR}{SST}=\frac{{\sum }_{i=1}^n(\widehat{y_i}-\overline{y}{)}^2}{{\sum }_{i=1}^n(y_i-\overline{y}{)}^2}\text{\hspace{1em}(16)}$$ $R^2$就是R-square，它的值总是在0-1之间，越接近于1，拟合优度越好。（通过一些推导可以看出$R$ 实际上是x和y的相关系数）

3. 多元线性回归

3.1 模型建立

随机变量 $y$ 与一般变量 $x_1,x_2,...,x_p$ 的线性回归模型为$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_p{x}_p+ϵ\text{\hspace{1em}(17)}$$ 其中，$p=1$时就是上面介绍的一元线性回归。同样地，假定 $E(ϵ)=0,D(ϵ)={\sigma }^2$，称$$E(y)={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_p{x}_p+ϵ\text{\hspace{1em}(18)}$$为理论回归方程。

有 $n$ 组观测数据，则线性回归模型可表示为 $$\{\begin{array}{l}{y}_1={\beta }_0+{\beta }_1{x}_{11}+{\beta }_2{x}_{12}+...+{\beta }_p{x}_{1p}+{ϵ}_1\\ y_2={\beta }_0+{\beta }_1{x}_{21}+{\beta }_2{x}_{22}+...+{\beta }_p{x}_{2p}+{ϵ}_2\\ \dots \dots \\ y_n={\beta }_0+{\beta }_1{x}_{n1}+{\beta }_2{x}_{n2}+...+{\beta }_p{x}_{np}+{ϵ}_n\end{array}\text{\hspace{1em}(19)}$$ 写成矩阵形式为 $$\mathbf{y}=\mathbf{X}\mathbf{\beta }+\mathbf{ϵ}\text{\hspace{1em}(20)}$$ 其中， 矩阵 $\mathbf{X}$ 是 $n\times (p+1)$ 矩阵，也叫设计矩阵或资料矩阵：
$$\mathbf{y}=\begin{array}{c}\left(\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right)\mathbf{X}=\left(\begin{array}{ccccc}1& x_{11}& x_{12}& ...& x_{1p}\\ 1& x_{21}& x_{22}& ...& x_{2p}\\ ...& ...& ...& ...& ...\\ 1& x_{n1}& x_{n2}& ...& x_{np}\end{array}\right)\mathbf{\beta }=\left(\begin{array}{c}{\beta }_1\\ {\beta }_2\\ ...\\ {\beta }_p\end{array}\right)\mathbf{ϵ}=\left(\begin{array}{c}{ϵ}_1\\ {ϵ}_2\\ ...\\ {ϵ}_n\end{array}\right)\end{array}$$

3.2 基本假定

和一元线性回归一样，多元线性回归也要进行一些假定，这些假定是一元情况的拓展和延伸，这些假定主要都是为了方便地进行参数估计。

• $x_1,...,x_p$ 是确定性变量，不是随机变量；
• 解释变量之间不相关，样本容量个数大于解释变量个数，即$\mathbf{X}$的秩为 p+1<n；
• $Gauss-Markov条件\{\begin{array}{l}E({ϵ}_i)=0,i=1,2,...,n\\ \\ Cov({ϵ}_i,{ϵ}_j)=\{\begin{array}{l}{\sigma }^2,i=j\\ 0,i=j\end{array}(i,j=1,2,...n)\end{array}$
• 正态分布的假定条件$\{\begin{array}{l}{ϵ}_i\sim N(0,{\sigma }^2)\\ \\ {ϵ}_1,{ϵ}_2,...,{ϵ}_n相互独立\end{array}$

如果不满足这些条件，可能会导致自相关性、异方差性等等问题，从而使得模型效果比较差，对于回归模型问题的诊断，后续也会进行介绍。

3.3 最小二乘参数估计

多元线性回归的未知参数的估计和一元情况的原理一样，仍然采用最小二乘法，寻找参数 ${\beta }_0,{\beta }_1,...,{\beta }_p$ 的估计值 $\widehat{{\beta }_0},\widehat{{\beta }_1},...,\widehat{{\beta }_p}$使离差平方和最小。$$Q(\widehat{{\beta }_0},\widehat{{\beta }_1},...,\widehat{{\beta }_p})=\sum _{i=1}^n(y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_{i1}-...-\widehat{{\beta }_p}{x}_{ip}{)}^2$$ 现在要做的就是求极值，由于Q是关于$\widehat{{\beta }_0},\widehat{{\beta }_1},...,\widehat{{\beta }_p}$的非负二次函数，因而它的最小值总是存在，求Q对于每一个未知参数的偏导，再令偏导数为0，得到各未知参数的估计值。称$$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_1+\widehat{{\beta }_2}{x}_2+...+\widehat{{\beta }_p}{x}_p\text{\hspace{1em}(21)}$$为经验回归方程。

3.4 显著性检验

在应用回归分析的时候，我们往往不能确定 $y$ 和 $x_1,x_2,...,x_p$之间的线性关系，只是先进行这样的假设，求出回归方程后，还需要对方程显著性进行检验。

3.4.1 回归方程的显著性检验——F检验

F检验从整体上看自变量 $x_1,x_2,...,x_p$是否对随机变量 $y$ 有明显影响。提出的原假设为：$H_0:{\beta }_1={\beta }_2=...={\beta }_n=0$，如果最后拒绝原假设，说明回归方程是显著的，自变量全体对因变量 $y$ 产生线性影响。

3.4.2 回归系数的显著性检验——t检验

回归方程是显著的也并不意味着每个自变量对y的影响都显著，所以需要对每个自变量进行显著性检验，继而提出那些次要的，可有可无的变量。

对于自变量 $x_j$ 的检验的原假设$H_0:{\beta }_j=0$，如果接受原假设，说明 $x_j$ 对y的影响不显著，否则说明 $x_j$ 是显著的。

如果一个自变量是不显著的，就要对方程进行修正。一种简单的剔除多余变量的做法叫“后退法”。后退法是说，如果有多个自变量对因变量无显著影响，由于自变量之间的相互作用，不能一次全部剔除，一般先剔除 p值最大的，然后重新求得新的回归方程，在对新方程进行检验，若有不显著变量再剔除，直到保留的变量都对y有显著影响为止

3.4.3 拟合优度

和一元线性回归中的样本决定系数一样，定义样本决定系数： $$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}\text{\hspace{1em}(22)}$$样本决定系数相较于F检验可以更清楚直观地反映拟合效果，但不能作为严格的显著性检验。$$R=\sqrt{R^2}\text{\hspace{1em}(23)}$$ 称$R$为 $y$ 关于$x_1,x_2,...,x_p$的样本复相关系数，与简单相关系数的不同是，复相关系数只取正值，在实际应用中常常用来衡量作为一个整体的$x_1,x_2,...,x_p$与 $y$ 线性关系的大小。具体$R^2$或$R$需要达到多少才算通过拟合优度检验，这要视具体情况而定。

4. 其他事项

4.1 中心化

中心化，包括后面的标准化都是对原始数据进行一些处理，从而方便计算，尽量避免大的误差。中心化就是将样本点的中心移到坐标系原点，从而去掉参数${\beta }_0$.

样本中心表示为 $(\overline{x_1},\overline{x_2},...,\overline{x_p};\overline{y})$，通过坐标变换将坐标原点移至样本重心：$$\begin{gathered} x_{ij}^{{}^{\prime }}=x_{ij}-{\overline{x}}_j \\ {y}_i^{{}^{\prime }}=y_i-\overline{y}\text{\hspace{1em}(24)} \end{gathered}$$ 称$${\hat{y}}^{{}^{\prime }}=\widehat{{\beta }_1}{x}_1^{{}^{\prime }}+\widehat{{\beta }_2}{x}_2^{{}^{\prime }}+...+\widehat{{\beta }_p}{x}_p^{{}^{\prime }}\text{\hspace{1em}(25)}$$为中心化经验回归方程，其常数项为0，而回归系数的最小二乘估计值均不变，因为这种变换实际上是坐标系平移变换，只改变直线的截距而不改变斜率。

4.2 标准化

标准化是为了消除量纲不同和数量级差异所带来的影响，在机器学习中也经常在数据预处理阶段进行标准化，将所有特征的值转化到同样的小区间中。其公式如下：$$x_{ij}^{\ast }=\frac{x_{ij}-{\overline{x}}_j}{\sqrt{{\sum }_{i=1}^n(x_{ij}-{\overline{x}}_j{)}^2}}\text{\hspace{1em}(26)}$$ $$y_i^{\ast }=\frac{y_i-\overline{y}}{{\sum }_{i=1}^n\sqrt{(y_i-\overline{y}{)}^2}}\text{\hspace{1em}(27)}$$ 并将标准化数据的经验回归方程记为：$${\hat{y}}^{\ast }={\hat{\beta }}_1^{\ast }{x}_1^{\ast }+{\hat{\beta }}_2^{\ast }{x}_2^{\ast }+...+{\hat{\beta }}_p^{\ast }{x}_p^{\ast }\text{\hspace{1em}(28)}$$ 标准化包括了中心化，因而标准化的回归常数项也为0.

普通的回归系数不具备可比性，举例来说，有一回归方程为 $\hat{y}=200+2000x_1+2x_2$，并不能认为 $x_1$ 对 $y$ 的影响最显著，而有了标准化回归系数，就可以方便地对变量间的相对重要性进行比较了。一般的统计软件都会自动给出标准化回归系数，并成为贝塔（beta）值。