一元线性回归理论知识介绍与实战（Python）

模型

回归模型

一元线性回归的模型为 $y={\beta }_0+{\beta }_{1}x+\epsilon$ ，${\beta }_0$，${\beta }_1$为回归系数，$\epsilon$是随机误差项，总是假设：

• $y$与$x$有线性关系
• 重复抽样中，$x$取值固定，即$x$是非随机的
• $\epsilon$为随机变量，且独立
• $\epsilon \sim N(0,{\sigma }^2)$，$\sigma$为定值

若对$y$和$x$分别进行$n$次独立观测，得到以下$n$对观测值：
$$(y_i,x_i)，i=1,2,...,n$$
这$n$对观测值之间的关系符合模型：
$$y_i={\beta }_0+{\beta }_{1}x+{\epsilon }_i，i=1,2,...,n$$
这里，$x_i$是自变量在第$i$次观测时的取值，它是一个非随机变量，并且没有测量误差。对应于$x_i$，$y_i$ 是一个随机变量，它的随机性是由${\epsilon }_i$造成的。${\epsilon }_i\sim N(0,{\sigma }^2)$，对于不同的观测，当$i\ne j$时，${\epsilon }_i$与${\epsilon }_j$是相互独立的。

回归方程

根据回归模型中的假设，我们知道$E(\epsilon )=0$，那么$E(y)={\beta }_0+{\beta }_{1}x,D(y)={\sigma }^2$，即随机变量 $y\sim N({\beta }_0+{\beta }_{1}x,{\sigma }^2)$。
其中$E(y)$称为总体回归方程。

估计的回归方程

估计样本的回归方程，总体回归参数${\beta }_0,{\beta }_1$是未知的，因此我们需要用样本去估计它们，其估计的回归方程为：
$$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$$

最小二乘估计

记$y_i=\widehat{y_i}+e_i$，其中$e_i$为第$i$个观测值的残差。用最小二乘法估计${\beta }_0,{\beta }_1$的值，即取${\beta }_0,{\beta }_1$的一组估计值$\widehat{{\beta }_0},\widehat{{\beta }_1}$，使 $y_i$与$\widehat{y_i}$的离差平方和达到最小，即${\sum }_{i=1}^n{e}_i^2$最小。

若记
$$Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$
则
$$Q(\widehat{{\beta }_0},\widehat{{\beta }_1})=\underset{{\beta }_0,{\beta }_1}{\min }Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i{)}^2$$
显然$Q({\beta }_0,{\beta }_1)\ge 0$，且关于${\beta }_0,{\beta }_1$可微，则由多元函数存在极值的必要条件得
$$\{\begin{array}{l}\frac{\partial Q}{\partial {\beta }_0}=-2{\sum }_{i=1}^n(y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i)=0\\ \\ \frac{\partial Q}{\partial {\beta }_1}=-2{\sum }_{i=1}^n{x}_i(y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i)=0\end{array}$$
求解可以得到
$$\{\begin{array}{l}\widehat{{\beta }_1}=\frac{n{\sum }_{i=1}^n{x}_i{y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}\\ \\ \widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}\end{array}$$
由$\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}$可以看出，回归直线过样本中心点$(\overline{x},\overline{y})$。
由偏导方程组可以知道
$$\{\begin{array}{l}\sum e_i=0\\ \\ \sum x_i{e}_i=0\end{array}$$
这是残差的重要性质，后面会用到。

将$\widehat{{\beta }_1}$变换
$$\begin{array}{rl}\widehat{{\beta }_1}& =\frac{n\sum x_i{y}_i-\sum x_i\sum y_i}{n\sum x_i^2-(\sum x_i{)}^2}\\ & =\frac{\sum x_i{y}_i-n\overline{x}\overline{y}}{\sum x_i^2-n{\overline{x}}^2}\\ & =\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}\end{array}$$

$\widehat{{\beta }_0},\widehat{{\beta }_1}$的性质

点估计量$\widehat{{\beta }_1}$是总体参数${\beta }_1$的无偏估计
由于
$$\begin{array}{r}\widehat{{\beta }_1}=\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}=\frac{\sum (x_i-\overline{x})y_i-\overline{y}\sum (x_i-\overline{x})}{\sum (x_i-\overline{x}{)}^2}\end{array}$$
容易证明$\sum (x_i-\overline{x})=0$
于是
$$\widehat{{\beta }_1}=\sum \frac{x_i-\overline{x}}{\sum (x_i-\overline{x}{)}^2}{y}_i$$
可以看到$\widehat{{\beta }_1}$是$y_i$的线性组合，而$y_i$相互独立且服从正态分布，所以$\widehat{{\beta }_1}$也服从正态分布。

记
$$k_i=\frac{x_i-\overline{x}}{\sum (x_i-\overline{x}{)}^2}$$
则
$$E(\widehat{{\beta }_1})=E(\sum k_i{y}_i)=\sum k_{i}E(y_i)={\beta }_0\sum k_i+{\beta }_1\sum k_i{x}_i$$
不难看出$\sum k_i=0,\sum k_i{x}_i=1$
于是有$E(\widehat{{\beta }_1})={\beta }_1$

同样的
$$Var(\widehat{{\beta }_1})=Var(\sum k_i{y}_i))=\sum k_i^{2}Var(y_i)=\sum k_i^2{\sigma }^2={\sigma }^2\sum k_i^2$$
由于
$$\begin{array}{rl}\sum _{i=1}^n{k}_i^2=& \sum _{i=1}^n[\frac{x_i-\overline{x}}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}{]}^2\\ =& \frac{1}{[{\sum }_{i=1}^n(x_i-\overline{x}{)}^2{]}^2}\sum _{i=1}^n(x_i-\overline{x}{)}^2\\ =& \frac{1}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\end{array}$$
于是有$Var(\widehat{{\beta }_1})=\frac{{\sigma }^2}{\sum (x_i-\overline{x}{)}^2}$

即
$$\widehat{{\beta }_1}\sim N({\beta }_1,\frac{{\sigma }^2}{\sum (x_i-\overline{x}{)}^2})$$

同理，对点估计量$\widehat{{\beta }_0}$也是一样，最后有
$$\widehat{{\beta }_0}\sim N({\beta }_0,{\sigma }^2[\frac{1}{n}+\frac{{\overline{x}}^2}{\sum (x_i-\overline{x}{)}^2}])$$

拟合优度检验

判定系数

对应于不同的$x_i$值，观测值$y_i$的取值是不同的。建立一元线性回归模型的目的，
就是以$x$的线性函数$(\widehat{{\beta }_0}+\widehat{{\beta }_1}x)$来解释 y 的变异。那么，回归模型$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$
究竟能以多大的精度来解释 y 的变异呢？又有多大部分是无法用这个回归方程来解释呢？
如下图所示，每个观测点的离差可以分解为
$$y-\overline{y}=(y-\hat{y})+(\hat{y}-\overline{y})$$

并且
$$\begin{array}{rl}& \sum _{i=1}^n(y_i-\overline{y}{)}^2\\ =& \sum _{i=1}^n[(y_i-\widehat{y_i})+(\widehat{y_i}-\overline{y}){]}^2\\ =& \sum _{i=1}^n[e_i+(\widehat{y_i}-\overline{y}){]}^2\\ =& \sum _{i=1}^n{e}_i^2+2\sum _{i=1}^n{e}_i(\widehat{y_i}-\overline{y})+\sum _{i=1}^n(\hat{y}-\overline{y}{)}^2\end{array}$$
由于
$$\begin{array}{r}\sum _{i=1}^n{e}_i(\widehat{y_i}-\overline{y})=\sum _{i=1}^n(e_i\widehat{{\beta }_0}+e_i\widehat{{\beta }_1}{x}_i)-\overline{y}\sum _{i=1}^n{e}_i=0\end{array}$$
因此，得到正交分解式
$$\sum _{i=1}^n(y_i-\overline{y}{)}^2=\sum _{i=1}^n{e}_i^2+\sum _{i=1}^n(\hat{y}-\overline{y}{)}^2=\sum _{i=1}^n(y-\hat{y}{)}^2+\sum _{i=1}^n(\hat{y}-\overline{y}{)}^2$$
记
  $SST=\sum (y_i-\overline{y}{)}^2$ ，这是原始数据$y_i$的总变异平方和，其自由度为$d{f}_T=n-1$
  $SSR=\sum (\widehat{y_i}-\overline{y}{)}^2$，这是用拟合直线$\widehat{y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$可解释的变异平方和，其自由度为$d{f}_R=1$
  $SSE=\sum (y_i-\widehat{y_i}{)}^2$，这是残差平方和，其的自由度为$d{f}_E=n-2$

并且有
  $$\begin{gathered} SST=SSR+SSE \\ d{f}_T=d{f}_R+d{f}_E \end{gathered}$$

注意到，对于一个确定的样本，$SST$是一个定值。所以，可解释变异$SSR$越大，则必然有残差$SSE$越小。这个分解式可同时从两个方面说明拟合方程的优良程度。

判定系数是指可解释的变异占总变异的百分比，用$R^2$表示，有
  $R^2=\frac{SSR}{SST}=(1-\frac{SSE}{SST})$

$R^2$有以下性质：

1. $R^2\in [0,1]$；
2. 当$R^2=1$时，有$SSR=SST$，也就是说，此时原数据的总变异完全可以由拟合值的变异来解释，并且残差为零，即拟合点与原数据完全吻合；
3. 当$R^2=0$时，回归方程完全不能解释原数据的总变异，$y$的变异完全由与$x$无关的因素引起，这时$SSE=SST$；

在一元线性回归中，相关系数$r$等于判定系数的平方根，即$r=R$。

估计标准误差

前面我们记残差
$$e_i=y_i-\widehat{y_i}，i=1,2...,n$$
并且我们知道
$$\begin{gathered} \sum _{i=1}^n{e}_i=0 \\ \sum _{i=1}^n{x}_i{e}_i=0 \end{gathered}$$
而残差的样本均值为
$$\overline{e}=\frac{1}{n}\sum _{i=1}^n{e}_i=0$$
残差的样本方差为
$$\begin{array}{rl}MSE& =\frac{1}{n-2}\sum _{i=1}^n(e_i-\overline{e}{)}^2\\ & =\frac{1}{n-2}\sum _{i=1}^n{e}_i^2\\ & =\frac{1}{n-2}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2\end{array}$$

可以证明，在对$\sum e_i^2$除以其自由度$(n-2)$后得到的$MSE$，是总体回归模型中${\sigma }^2=Var({\epsilon }_i)$的无偏估计量。

我们记
$$S_e=\sqrt{MSE}=\sqrt{\frac{1}{n-2}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2}$$

 一个好的拟合方程，其残差总和应越小越好。残差越小，拟合值与观测值越接近，各观测点在拟合直线周围聚集的紧密程度越高，也就是说，拟合方程$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$解释$y$的能力越强。
 另外，当$S_e$越小时，还说明残差$e_i$的变异程度越小。由于残差的样本均值为零，所以说，其离散范围越小，拟合的模型就越为精确。

显著性检验

在拟合回归之前，我们假设$x$与$y$存在线性关系，即$y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i$，并假定${\epsilon }_i\sim N(0,{\sigma }^2)$，这些假设是否成立，需要通过检验来证实。

线性关系的检验

为了检验两个变量之间线性关系是否显著，我们需要构造检验的统计量，假设的统计量为：
  $F=\frac{SSR/1}{SSE/(n-2)}=\frac{MSR}{MSE}$

其中$MSR=SSR/d{f}_R$，$MSE=SSE/d{f}_E$

如果原假设成立（$H_0:{\beta }_1=0$），由于$SST=SSR+SSE$，
则$\frac{SSR}{{\sigma }^2}$与$\frac{SSE}{{\sigma }^2}$是独立的随机变量，
并且
$$\begin{array}{rlr}& \frac{SSR}{{\sigma }^2}\sim {\chi }^2(1),& \frac{SSE}{{\sigma }^2}\sim {\chi }^2(n-2)\end{array}$$
此时有
$$F=\frac{MSR}{MSE}\sim F(1,n-2)$$
下面进行统计的检验：
第一步： 提出假设。
    $H_0：{\beta }_1=0，H_1：{\beta }_1\ne 0$
第二步：检验统计量。
    $F=\frac{MSR}{MSE}$
第三步：作出决策。
    给定显著性水平$\alpha$，查表，
    若$F>F_{\alpha }$，拒绝$H_0$，表明$x$和$y$的线性关系是显著的，
    若$F<F_{\alpha }$，接受$H_0$，没有证据表明$x$和$y$的线性关系是显著的。

回归系数的检验

回归系数的显著性检验要检验自变量对因变量的影响是否显著，对于$y={\beta }_0+{\beta }_{1}x+\epsilon$来说，如果回归系数${\beta }_1=0$，说明$y$不依赖于$x$，也就是说两个变量之间没有线性关系。
前面我们知道
$$\begin{gathered} \widehat{{\beta }_1}\sim N({\beta }_1,\frac{{\sigma }^2}{\sum (x_i-\overline{x}{)}^2}) \\ \widehat{{\beta }_0}\sim N({\beta }_0,{\sigma }^2[\frac{1}{n}+\frac{{\overline{x}}^2}{\sum (x_i-\overline{x}{)}^2}]) \end{gathered}$$

将$\widehat{{\beta }_1}$标准化
$$\frac{\widehat{{\beta }_1}-{\beta }_1}{\sigma /\sqrt{\sum (x_i-\overline{x}{)}^2}}\sim N(0,1)$$
由于$\sigma$未知，因此用$S_e$替换，则有
$$\frac{\widehat{{\beta }_1}-{\beta }_1}{S_e/\sqrt{\sum (x_i-\overline{x}{)}^2}}\sim t(n-2)$$
下面进行检验：
第一步： 提出假设。
    $H_0：{\beta }_1=0，H_1：{\beta }_1\ne 0$
第二步：检验统计量。
    $t=\frac{\widehat{{\beta }_1}-{\beta }_1}{S_e/\sqrt{\sum (x_i-\overline{x}{)}^2}}$
第三步：作出决策。
    给定显著性水平$\alpha$，并根据自由度$df=n-2$查表，
    若$\mid t\mid >t_{\alpha /2}$，拒绝$H_0$，表明$x$对$y$的影响是显著的，
    若$\mid t\mid <t_{\alpha /2}$，接受$H_0$，没有证据表明$x$对$y$的影响是显著的。

回归分析结果评价

1. 所估计的回归系数的符号是否与理论或事先预期相一致；
2. 如果理论上认为$x$与$y$之间的关系不仅是正的，而且是统计上显著的，那么所建立的回归方程也应该如此；
3. 回归模型在多大程度上解释了因变量$y$取值的差异？可以用判定系数$R^2$来分析；
4. 考察关于误差项$\epsilon$的正态性假定是否成立，即$\epsilon \sim N(0,{\sigma }^2)$。

预测

点估计

利用估计的回归方程，对于特定的$x$，求出$y$的估计值就是点估计。
点估计分为：

• 平均值的点估计
• 个别值的点估计

而对于估计的回归方程
$$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$$
可以得到
$$\begin{array}{rl}E(\hat{y})& =E(\widehat{{\beta }_0})+E(\widehat{{\beta }_1}x)\\ & ={\beta }_0+{\beta }_{1}x\\ & =E(y)\end{array}$$
可以看到$y$的平均值点估计$E(\hat{y})=E(y$)
简单来说，就是平均值的点估计和个别值的点估计均可以带入估计的回归方程即可。

区间估计

由于点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计。
区间估计分为：

• 置信区间估计
• 预测区间估计

置信区间估计：给定一个$x_0$，求出$y$的平均值的区间估计

可以证明
$$\widehat{y_0}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_0\sim N({\beta }_0+{\beta }_1{x}_0,{\sigma }^2[\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}])$$

将$\widehat{y_0}$标准化
$$\frac{\widehat{y_0}-({\beta }_0+{\beta }_1{x}_0)}{\sigma \sqrt{\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}}}\sim N(0,1)$$

由于$\sigma$未知，因此用$S_e$替换
$$\frac{\widehat{y_0}-E(y_0)}{S_e\sqrt{\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}}}\sim t(n-2)$$

在给定显著性水平$\alpha$，因此有
$$P(-t_{\alpha /2}<\frac{\widehat{y_0}-E(y_0)}{S_e\sqrt{\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}}}<t_{\alpha /2})=1-\alpha$$

求解得到$E(y_0)$的置信区间
$$E(y_0)\in (\widehat{y_0}-t_{\alpha /2}{S}_e\sqrt{\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}},\widehat{y_0}+t_{\alpha /2}{S}_e\sqrt{\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}})$$

预测区间估计：给定一个$x_0$，求出$y$的个别值的区间估计

对于$\widehat{y_0}$和$y_0$，有
$$\begin{array}{rl}& \widehat{y_0}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_0\sim N({\beta }_0+{\beta }_1{x}_0,{\sigma }^2[\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}])\\ & y_0={\beta }_0+{\beta }_1{x}_0+\epsilon \sim N({\beta }_0+{\beta }_1{x}_0,{\sigma }^2)\end{array}$$

将两个正态分布相减，得到
$$y_0-\widehat{y_0}\sim N(0,{\sigma }^2[1+\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}])$$

将其标准化
$$\frac{y_0-\widehat{y_0}}{\sigma \sqrt{1+\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}}}\sim N(0,1)$$

由于$\sigma$未知，因此用$S_e$替换
$$\frac{y_0-\widehat{y_0}}{S_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}}}\sim t(n-2)$$

在给定显著性水平$\alpha$，因此有
$$P(-t_{\alpha /2}<\frac{y_0-\widehat{y_0}}{S_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}}}<t_{\alpha /2})=1-\alpha$$

求解得到$y_0$的置信区间
$$y_0\in (\widehat{y_0}-t_{\alpha /2}{S}_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}},\widehat{y_0}+t_{\alpha /2}{S}_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}})$$

残差分析

在回归模型中，假定$\epsilon \sim N(0,{\sigma }^2)$，如果假定不成立，那么，前面所做的事情就不能用统计的知识来解释，因此，确定$\epsilon$的假定是否成立就是进行残差分析。

第$i$个值的预测值为
$$\widehat{y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$$

第$i$个值的观测值为
$$y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i$$

误差项 ${\epsilon }_i=y_i-{\beta }_0-{\beta }_1{x}_i$

残差项 $e_i=y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i$

不难发现，对${\epsilon }_i$的估计就是$e_i$。

• 对于图$(a)$，如果回归模型满足基本的假定，那么残差将在$0$的附近波动。

• 对于图$(b)$，可能$Var({\epsilon }_i)$随着$x$的变化而变化，不是定值${\sigma }^2$。

• 对于图$(c)$，$x$和$y$是可能是非线性关系，对应的方程为曲线方程。

对$\epsilon$的正态性假定的检验，也可以通过标准化残差的分析来完成。
为了便于观察和控制残差$e_i$的大小，我们对$e_i$进行标准化，得到$\frac{e_i}{\sigma }$服从$N(0,1)$，由于$\sigma$未知，因此用$S_e$替换，得到
$$z_{e_i}=\frac{e_i}{S_e}$$

如果误差项$\epsilon$服从正态分布，其标准化残差也应该服从正态分布，在标准化残差图中，大约有$95$%的标准化残差在$-2\sim 2$之间，如果不是，则$\epsilon$的假定错误。

  那么，一元回归分析的理论部分就介绍完了，下次咱们再讲讲多元回归分析的相关理论，好好学，你会发现都不是很难理解。

实战

该数据文件有三个自变量影响因变量$y$，根据第一个自变量和因变量进行一元线性回归。
数据集的离散图如下：

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 导入模块
from sklearn import model_selection

data = pd.read_excel(r'Predict to Profit.xlsx')
examDf = pd.DataFrame(data)
# print(examDf.head())

# 绘制散点图,examDf.jt为X轴，examDf.hk为Y轴
plt.scatter(examDf.RD_Spend, examDf.Profit, color='darkgreen', label="Exam Data")

# 添加图的标签（x轴，y轴）
plt.xlabel("$RD\_Spend$")  # 设置X轴标签
plt.ylabel("$Profit$")  # 设置Y轴标签
# plt.show()  # 显示图像

相关系数

rDf = examDf.corr()  # 查看数据间的相关系数
print(rDf)

看到 $$\begin{gathered} RD{ \\ }_{S}pend \end{gathered}$$ 与 $Profit$ 的相关系数为 $0.978437$，接近 $1$，因此可以进行回归拟合。

用80%的数据进行训练，剩下20%进行测试。

# 拆分训练集和测试集（train_test_split是存在与sklearn中的函数）
X_train, X_test, Y_train, Y_test = model_selection.train_test_split(examDf.RD_Spend, examDf.Profit, train_size=0.8)
# train为训练数据,test为测试数据,examDf为源数据,train_size 规定了训练数据的占比

print("自变量---源数据:", examDf.RD_Spend.shape, "；  训练集:", X_train.shape, "；  测试集:", X_test.shape)
print("因变量---源数据:", examDf.Profit.shape, "；  训练集:", Y_train.shape, "；  测试集:", Y_test.shape)

# 散点图
plt.scatter(X_train, Y_train, color="darkgreen", label="train data")  # 训练集为深绿色点
plt.scatter(X_test, Y_test, color="red", label="test data")  # 测试集为红色点

# 添加标签
plt.legend(loc=2)  # 图标位于左上角，即第2象限，类似的，1为右上角，3为左下角，4为右下角
plt.xlabel("$RD\_Spend$")  # 添加 X 轴名称
plt.ylabel("$Profit$")  # 添加 Y 轴名称
plt.show()  # 显示散点图

拟合直线

# 调用线性规划包
model = LinearRegression()

X_train = X_train.values.reshape(-1,1)
X_test = X_test.values.reshape(-1,1)

# 线性回归训练
model.fit(X_train, Y_train)  # 调用线性回归包

a = model.intercept_  # 截距
b = model.coef_  # 回归系数

# 训练数据的预测值
y_train_pred = model.predict(X_train)
# 绘制最佳拟合线：标签用的是训练数据的预测值y_train_pred
plt.plot(X_train, y_train_pred, color='blue', linewidth=2, label="best line")

# 测试数据散点图
plt.scatter(X_train, Y_train, color='darkgreen', label="train data")
plt.scatter(X_test, Y_test, color='red', label="test data")

# 添加图标标签
plt.legend(loc=2)  # 图标位于左上角，即第2象限，类似的，1为右上角，3为左下角，4为右下角
plt.xlabel("$RD\_Spend$")  # 添加 X 轴名称
plt.ylabel("$Profit$")  # 添加 Y 轴名称
plt.show()  # 显示图像

print("拟合参数:截距", a, ",回归系数：", b)
print("最佳拟合线: Y = ", round(a, 2), "+", round(b[0], 2), "* X")  # 显示线性方程，并限制参数的小数位为两位

最后拟合的直线方程

参考资料
机器学习多元线性回归