【数模】多元线性回归分析

一、回归分析

1. 回归的认识

• 通过X去预测Y：研究自变量X和因变量Y的相关关系，尝试去解释Y的形成机制
• 常见的五类回归分析：线性回归、0‐1回归、定序回归、计数回归和生存回归
  • 划分的依据：因变量Y的类型

2. 概念分析

相关性

• 相关性≠因果性
• 严格的因果关系不便于研究

因变量/被解释变量Y

1. 连续数值型变量：经济学家研究经济增长的决定因素，那么Y可以选取GDP增长率。
2. 0‐1型变量：P2P公司要研究借款人是否能按时还款，那么Y可以设计成一个二值变量，Y=0时代表可以还款，Y=1时代表不能还款。
3. 定序变量：消费者调查得到的数据（1表示非常不喜欢，2表示有点不喜欢，3表示一般般，4表示有点喜欢，5表示非常喜欢）。
4. 计数变量：管理学中RFM模型：F代表一定时间内，客户到访的次数，次数其实就是一个非负的整数。
5. 生存变量：研究产品寿命、企业寿命甚至是人的寿命（这种数据往往不能精确的观测，例如现在要研究吸烟对于寿命的影响，如果选取的样本中老王60岁，现在还活的非常好，我们不可能等到他去世了再做研究，那怎么办呢？直接记他的寿命为60+，那这种数据就是截断的数据）

自变量/解释变量X

• 通过研究X和Y的相关关系，尝试去解释Y的形
  成机制，进而达到通过X去预测Y的目的。
• 判断以下案例适合采用哪种回归？
  • 线性回归：
  • 01回归→逻辑回归：

3. 回归分析的前期步骤

1. 识别重要变量：选择提取同Y相关的X变量（统计学中的“变量选择”领域）→逐步回归法
   • 无法直接提取有用的，就通过排除无用的，剩下的就都是重要的了。
2. 判断相关性的方向：正 / 负相关？
3. 估计权重（回归系数）：确定不同变量之间的相对重要性
   • 注意首先要统一量纲 → 标准化回归

4. 回归分析的分类

• Y的类型 —决定→回归分析的类型
• OLS：普通最小二乘；GLS：广义最小二乘

---

二、数据相关

1. 数据的分类

• 建模比赛中，前两种数据类型最常考到
  • 横截面数据往往可用回归来建模，通过回归可以得到自变量与因变量之间的相关关系以及自变量的重要程度。
  • 时间序列数据往往需要进行预测；时间序列模型的选择也很多，需选择合适的模型对数据进行建模。
• 面板数据较为复杂，是经管类学生在中级计量经济学中才会学到的模型。
  • 2019年国赛据说会出现经济类题目（照顾经济学类，碰到做其他题就好），如果考察经济类题目，那么可能就需要用到面板数据的模型。

①横截面数据：在某一时点收集的不同对象的数据。

例如：

• （1）我们自己发放问卷得到的数据
  • 同一时间点：发放问卷时间
  • 不同对象：收集的不同问卷
• （2）全国各省份2018年GDP的数据
  • 同一时间点：2018
  • 不同对象：各省份数据
• （3）大一新生今年体测的得到的数据
  • 同一时间点：今年
  • 不同对象：各大一新生的数据

②时间序列数据：对同一对象在不同时间连续观察所取得的数据。

例如：

• （1）从出生到现在，你的体重的数据（每年生日称一次)。
  • 同一对象：某人
  • 不同时间点：出生到现在
• （2）中国历年来GDP的数据。
  • 同一对象：中国
  • 不同时间点：历年
• （3）在某地方每隔一小时测得的温度数据。
  • 同一对象：某地方
  • 不同时间点：每隔一小时

③面板数据：横截面数据与时间序列数据综合起来的一种数据资源。

例如：2008‐2018年，我国各省份GDP的数据。

• 不同对象：中国各个省份（个体不止一个→符合横截面数据）
• 不同时间：2008‐2018年（采样时间连续→符合时间序列数据

2. 数据的搜集

• 一般题目都会提供数据，仅要题目给的数据进行清理、预处理，而后套用合适的模型进行建模即可。但若自己搜集数据能使得建模更加饱满，可支撑材料，搜集渠道如下：
• 渠道①：数据网站

  • 提供数据的网站容易失效，所以可以直接在知乎上搜索“数据查找”来获取最新的数据网站。

  • 宏观数据：

    • 【简道云汇总】110+数据网站
    • 虫部落数据搜索
    • 【汇总】数据来源/大数据平台
    • 大数据工具导航工具
    • 数据平台

  • 微观数据：人大经济论坛

• 渠道②：爬虫
  • 学习用Python等软件爬取
  • 傻瓜式软件爬取（八爪鱼）

---

三、线性回归

1. 一元线性回归

（1）回顾对比

• 一元线性函数拟合
  • L在机器学习中被称为损失函数，在回归中也常被称为残差平方和

• 一元线性回归模型

（2）对线性的理解

• 严格的线性关系：
• 变量替换转换成线性模型：
  • 线性假定并不要求初始模型都呈严格线性关系，只要自变量与因变量可通过变量替换而转化成线性模型，那就属于线性模型。
    
  • 采用线性回归模型建模前，对数据预处理
    • 采用软件：Excel、Matlab、Stata等
    • 用Excel+Matlab对数据预处理（如下数据随机生成仅用作演示；Excel处理数据后可导入Matlab中，但采用Matlab处理较麻烦，推荐直接用Stata处理）

2. 回归系数的解释

（1）举例说明

• 示例①：

  • 3.4：在评分为0时，该产品的平均销量为3.4（实际x∈[1,10]，故x=0时是无意义的）
  • 2.3：评分每增加一个单位，该产品的平均销量增加2.3

• 示例②：

  • 5.3：在评分为0且价格为0时，该产品的平均销量为5.3个（没现实意义)
  • 0.19：在保持其他变量不变的情况下，评分每增加一个单位，该产品的平均销量增加0.19
  • -1.74：在保持其他变量不变的情况下，价格每增加一个单位，该产品的平均销量减少1.74
  • 由示例②可见，引入了新的自变量价格后，对回归系数的影响大 → 原因：遗漏变量导致的内生性

• 总结：对于

  • 解释角度①：直接解释

  • 解释角度②：偏导数

（2）内生性和外生性

• cm：“外生性”是期望达到的状态，即要达到挑出所有与y相关的x后，不论这些x如何变化，都不影响扰动项μ的变化（此时的μ是准确的）

• 降低外生性要求

  • 原因：无内生性要求所有解释变量均与扰动项不相关，这个假定太强（因为解释变量一般很多，比如5~15个；且需要保证他们全部外生）
  • 弱化方式： 将解释变量区分为“核心解释变量”和“控制变量”
  • 核心解释变量：我们最感兴趣的变量，因此我们特别希望得到对其系数的一致估计（当样本容量无限增大时，收敛于待估计参数的真值 ）。
  • 控制变量：我们可能对于这些变量本身并无太大兴趣；而之所以把它们也放入回归方程，主要是为了 “控制住” 那些对被解释变量有影响的遗漏因素。
  • 总结：在实际应用中，只要保证核心解释变量与𝝁不相关即可。

（3）对 lnx回归系数的解释

• 解释①：直接解释
• 解释②：经济学角度→ 推荐√
  • 取对数意味着：原被解释变量对解释变量的弹性，即百分比的变化，而不是数值的变化；
  • 经验总结什么时候取对数：
    • ①与市场价值相关的，例如，价格、销售额、工资等都可以取对数；
    • ②以年度量的变量，如受教育年限、工作经历等通常不取对数；
    • ③比例变量，如失业率、参与率等，两者均可；
    • ④变量取值必须是非负数，如果包含0，则可以对y取对数ln(1+y);
  • 取对数的好处：
    • ①减弱数据的异方差性
    • ②如果变量本身不符合正态分布，取了对数后可能渐近服从正态分布
    • ③模型形式的需要，让模型具有经济学意义。

（4）四类模型回归系数的解释

• △注意：只有一个变量的时候，直接按照如下解释即可；
  • 当多变量时，要多加一句“控制其他自变量不变的情况下”

1. 一元线性回归：𝑦 = 𝑎 + 𝑏𝑥 + 𝜇，x每增加1个单位，y平均变化b个单位；
   

2. 双对数模型：𝑙𝑛𝑦 = 𝑎 + 𝑏𝑙𝑛𝑥 + 𝜇，x每增加1%，y平均变化b%；

3. 半对数模型：𝑦 = 𝑎 + 𝑏𝑙𝑛𝑥 + 𝜇，x每增加1%，y平均变化b/100个单位；

4. 半对数模型：𝑙𝑛𝑦 = 𝑎 + 𝑏𝑥 + 𝜇，x每增加1个单位，y平均变化(100b)%。

3. 关于自变量

（1） 定性变量→定量变量：采用虚拟变量X

• 处理定性变量（如性别、地域等）时，引入虚拟变量x来转变成数据的定量变量。

• 例1：研究性别对于工资的影响(性别歧视）

  • 具体：

• 例2：多分类的虚拟变量设置 → 实证探讨我国P2P网络贷款中是否存在显著的地域歧视问题？
  

（2）含有交互项的自变量

4. 回归系数的实操

• Excel选中区域创建表格

（1）Stata软件的基本使用

• 导入数据：文件→导入→Excel表格
  
  
  
• 保存代码
  • 保存后直接点击开.do文件，可以直接运行
    

（2）数据的描述性统计

• ①：定量数据
  • summarize 变量1 变量2 … 变量n
  • 例子：
  • 技巧：
    • ①
    • ②复制表格到Excel中进行处理后，再加入论文→△在论文中避免截图的方式（防止图片放大模糊；并且截图易被误以为是网络上的数据偷图）
      
• ②：定性数据
  • tabulate 变量名,gen(A)：智能生成虚拟变量
    
  • 浏览数据
• 将数据贴到论文中
  • 定量数据表格数少，可直接把表格复制进论文；
  • 定性数据表格很多，不建议直接复制进论文中（会占太多页），故：
    • ①添加进附录
    • ②转化成扇形图等 → 采用Excel数据透视表
      • 表格：
        
      • 图形：
        推荐灰黑色的如下形式（能和打印效果一致）
      • 数据交互
        

（3）11个指标的总体情况介绍

• 放论文中一目了然评价指标有哪些
  

（4） Stata回归的语句

• regress y x1 x2 ... xk（默认使用的OLS：普通最小二乘估计法）
  • 示例

• 做回归重要看的点：
  • ①看联合显著性检验是否通过，通过才能说明模型没问题
  • ②接着看P值（P>|t|）：
    • 95%的置信水平，P值<0.05;90%的置信水平，P值<0.1
    • 根据情况选择出符合的变量（常数项不必考虑）
  • ③回归系数（Coef）：对选出变量的回归系数进行解释。
    • 注意：不能对数据进行归一化，否则就可能由于数据范围的变化，导致最终无法正确解释其回归系数。（比如原本成绩数据范围0~100，归一化后范围在-1 ~ 1，致使相关变量的回归系数小于0，含义就成了过去高考总分越高，大学期末成绩越低，这就错误了）
    • 论文中要写明回归系数是什么？哪个回归系数是显著的？

（5） 拟合优度R²较低怎么办

• 回归分为：解释型回归和预测型回归

  • 预测型回归：一般才会更看重R²。（预测型回归可理解为之前的“拟合”，预测后需要填入一组新的Xi值，想要得到较准确的y值）
  • 解释型回归：更多的关注模型整体显著性以及自变量的统计显著性和经济意义显著性即可。（解释性回归只需说明变量之间对因变量有什么影响即可）
  • 一般情况解释性回归更常用；预测问题一般会采用别的方法解决，而不是通过回归

• 预测性回归问题时才更看重R²，若拟合优度R²较低：可以对模型进行调整，例如对数据取对数或者平方后再进行回归。

• 解释性回归中R²若较低：数据中可能有存在异常值或者数据的分布极度不均匀。

  • 拟合优度R²较低时，加入多的自变量（如下图中的平方项和交互项）虽然是能使得R²变大，但同时也使得R²更不好解释了，故不要随便在回归模型中加入高次项、甚至交互项（因为加之后就必须得给出合理的解释）→ 分清回归分析的目的是预测还是解释，解释性回归则不必将模型整太复杂

• 关于拟合优度和调整后的拟合优度：

  • 论文中要提到的说明语句（为什么要采用调整后的拟合优度）：我们引入的自变量越多，拟合优度会变大。但我们倾向于使用调整后的拟合优度，如果新引入的自变量对SSE的减少程度特别少，那么调整后的拟合优度反而会减小。

5. 具体例子1

（小题①）以评价量为因变量，分析其他变量和评价量之间的关系

• 直接用回归解决

• 代码：reg 评价量 团购价元 商品毛重kg A1 A2 A3 B1 B2 B3 B4 B5 B6 B7 B8 B9 C1 C2 D1 D2 D3 D4 D5 E1 E2 E3 E4 F1 F2 G1 G2 G3 G4（从A1选中到G4小技巧：在变量窗口中按住Shift不放，可同时选中一列，然后再直接拖动到输入区域）

• Stata的结果：

  • Stata会自动检测数据的完全多重共线性问题，并且剔除掉存在完全多重共线性问题的元素，作为对照组。

• 回答：

  • 在90%的置信水平下，两个自变量团购价(元)和商品毛重(kg)对应的回归系数是显著的。
  • （接下来可以解释一下两个自变量的回归系数代表的意义）第一个自变量团购价回归系数为-29.77274，代表自变量不变的情况下，当团购价每增加1元，就会导致评价量平均减少29.77。
  • （接下来解释满足90%置信水平下显著的F1对应的回归系数的含义）F1表示的分类是牛奶粉，F2表示的分类为羊奶粉，并且选取F2羊奶粉作为基准组/对照组（在Stata中被随机选取为忽略）。F1的系数是14894.55表示在控制其他自变量不变的情况下，分类为牛奶粉的平均评价量要比分类为羊奶粉的评价量要高出14894.55。（因为其他前面的回归系数它都不是显著的，所以可以不用分析）

• 将回归结果保存到word文档中

  • 首次使用要安装插件：ssc install reg2docx, all replace
  • est store m1：将回归储存为名作m1的模型
  • reg2docx m1 using m1.docx, replace：保存到m1.docx中
  • word生成结果（不含虚拟变量）：
    • 代码：reg 评价量 团购价元 b
  • word生成结果（含虚拟变量）：
    • 代码：reg 评价量 团购价元 商品毛重kg A1 A2 A3 B1 B2 B3 B4 B5 B6 B7 B8 B9 C1 C2 D1 D2 D3 D4 D5 E1 E2 E3 E4 F1 F2 G1 G2 G3 G4
    • 虚拟名字替换后，直接放到论文中即可（表格过长可以放到附录中，而只在正文里分析表格中回归系数对应的意义）

（小题②）以评价量为因变量，研究影响评价量的重要因素。

• 题意：谁是影响因变量的最重要因素？→ 标准化回归（去除量纲的影响）

• 对数据进行标准化：

  • 将原始数据减去它的均数后，再除以该变量的标准差，计算得到新的变量值，新变量构成的回归方程称为标准化回归方程，回归后相应可得到标准化回归系数。
  • 标准化系数的绝对值越大，说明对因变量的影响就越大（只关注显著的回归系数）。

• Stata标准化回归命令：regress y x1 x2 ... xk,beta （简写reg y x1 x2 ... xk,b ）

• 结果（多了一列Beta标准化回归系数）：

  • ① 为什么常数项没有标准化回归系数？
    答：常数的均值是其本身，经过标准化后变成了0.
  • ② 为什么和之前的回归结果完全相同，除了多了最后那一列标准化回归系数？
    答：对数据进行标准化处理不会影响回归系数的标准误，也不会影响显著性.

• 代码：reg 评价量 团购价元 商品毛重kg A1 A2 A3 B1 B2 B3 B4 B5 B6 B7 B8 B9 C1 C2 D1 D2 D3 D4 D5 E1 E2 E3 E4 F1 F2 G1 G2 G3 G4,b

  • 仅需对显著的进行比较分析：
  • （如下图比较显著的团购价和F1的标准化回归系数，显然团购价的Beta值的绝对值大）可得，团购价对因变量的影响更大

6. 具体例子2

（1） 数据描述性统计结果

• 表格制作（可回顾相关性检验章节）
  • Stata的summarize命令
  • Excel直接处理
    
    
    最后效果：

（2）Excel完成折线和条形图的制作

• 7.7节 10:00左右讲解
  

（3）Excel中中国地图模板制作

• 7.7节36:33左右讲解
  
  复制到论文中，则选中粘贴为图片
  

（4） 稳健性检验

• ①更改地域歧视的研究对象
  • 将各个身份分组为7大区域
• ②更改计量方法
• ③加入其他控制变量

7. 扰动项和异方差

（1）扰动项

• 在之前的回归分析中，默认了扰动项是球型扰动项。
  • 球型扰动项：满足“同方差”和“无自相关”两个条件。
  • 横截面数据容易出现异方差的问题
  • 时间序列数据容易出现自相关的问题

（2）异方差

• 若扰动项存在异方差，并不影响回归系数（OLS估计出来的回归系数是无偏、一致的），但存在以下几个问题：

  • 假设检验无法使用（构造的统计量失效了）。→ 无法看回归系数是不是显著的
  • OLS估计量不再是最优线性无偏估计量（BLUE）
    

• 检验是否存在异方差：

  • 不论是否存在都要进行异方差检验
  • ①用Stata绘制残差图 → 偏粗糙
    • rvfplot
    • rvpplot x
    • 绘制后保存图片到当前目录下：graph export a1.png ,replace
      
    • 拟合值出现负数的原因：评价量分布不均匀，就会导致R²偏小，并且拟合值出现负数。
  • ②异方差的假设检验：BP检验和怀特检验 → 更严格

    • BP检验和怀特检验的区别：怀特检验更广，BP检验可看作是怀特检验的特例（推荐用怀特检验。）

    • BP检验

      • Stata命令（回归结束后用）：estat hettest ,rhs iid
      • 结果：
      • 原假设：扰动项不存在异方差
      • P值小于0.05，说明在95%的置信水平下拒绝原假设，即我们认为扰动项存在异方差。

    • 怀特检验：可以检验任何形式的异方差（推荐）

      • Stata命令（回归结束后用）：estat imtest,white
      • 结果：
      • 原假设：扰动项不存在异方差
      • P值小于0.05，说明在95%的置信水平下拒绝原假设，即我们认为扰动项存在异方差。

• 解决异方差：

  • ①广义最小二乘估计法GLS（不推荐×）
    • 原理：方差较小的数据包含的信息较多，可以给予信息量大的数据更大的权重（即 方差较小的数据给予更大的权重）
    • 缺点：由于不知道扰动项真实的协方差矩阵，因此只能用样本数据来估计，导致结果不稳健，存在偶然性。
  • ②使用OLS + 稳健的标准误（推荐√）
    • 论文中可说明【Stock and Watson (2011)推荐，在大多数情况下应该使用“OLS + 稳健标准误”。】后，再用该方法即可。
    • Stata命令（在原来回归基础上加“robust”）：regress y x1 x2 ... xk,robust（简写：regress y x1 x2 ... xk,r）
    • 结果：剔除异方差之前仅有"团购价"和F1符合显著性,剔除后有更多的符合显著性,即得到更多显著的自变量能解释了

8. 多重共线性

• 问题：若存在严重的多重共线性话，会使方差变大，导致系数的估计变得不准确
• 存在多重共线性的症状：
  • 症状①：虽然整个回归方程的R较大、F检验也很显著,但单个系数的t检验却不显著,或者系数估计值不合理，甚至符号与理论预期相反。
  • 症状②：增减解释变量使得系数估计值发生较大变化(比如，最后加入的解释变量与已有解释变量构成多重共线性)，但这也可能是内生性导致的
• 检验多重共线性：方差膨胀因子VIF
  
  • Stata计算各自变量VIF的命令（在回归结束后使用）：estat vif
  • 结果：
• 解决多重共线性的方法
  • ① 存在多重共线性也不用过度担心：
    • a. 如果不关心具体的回归系数，而只关心整个方程预测的能力，则通常可以不必理会多重共线性（假设你的整个方程是显著的）→ 只要保证R²足够大（因为多重共线性的主要后果是使得对单个变量的贡献估计不准，但所有变量的整体效应仍可以较准确地估计）
    • b. 如果关心具体的回归系数，但多重共线性并不影响所关心变量的显著性，也可以不必理会。因即使在有方差膨胀的情况下，这些系数依然显著；如果没有多重共线性，则只会更加显著。
  • ② 但当多重共线性影响到所关心变量的显著性时，就该想办法处理：
    • a. 删除掉导致多重共线性的自变量（但不能随意删除，否则可能会产生内生性；虽删除自变量有可能导致新问题，但一般采取的还是这个方法）
    • b. 增加样本容量（最好的方法，但不够现实，样本收集不容易）

9. 逐步回归分析

• 可用于解决多重共线性的问题
• 分类：
  • 向前逐步回归：显著才加入模型中
  • 向后逐步回归（√）：不显著就提出模型
• 说明：
  • （1）向前逐步回归和向后逐步回归的结果可能不同。
  • （2）不要轻易使用逐步回归分析，因为剔除了自变量后很有可能会产生新的问题，例如内生性问题。
  • （3）更加优秀的筛选方法是每种情况都尝试一次，但不太现实，因为最终一共有种可能。如果自变量很多，那么计算相当费时。

（1）向前逐步回归

• 定义：将自变量逐个引入模型，每引入一个自变量后都要进行检验，显著时才加入回归模型。
• 缺点：随着以后其他自变量的引入，原来显著的自变量也可能又变为不显著了，但是，并没有将其及时从回归方程中剔除掉。
• 代码：stepwise regress y x1 x2 ... xk, pe(#1)（显著才加入模型中）
• 完全多重共线性的错误现象：
  • 错误原因：出现了完全多重共线性
  • 处理：之前回归时，Stata告诉了我们哪些自变量是完全多重共线性的（实际上在每个分类变量中任意去除一个元素即可）
    • 修改前代码：
      
    • 修改后代码：stepwise reg 评价量 团购价元 商品毛重kg A1 A3 B1 B2 B3 B4 B5 B6 B7 B9 C1 D1 D2 D3 D4 E1 E2 E3 F1 G1 G2 G3, r pe(0.05)

（2）向后逐步回归（√）

• 定义：与向前逐步回归相反，先将所有变量均放入模型，之后尝试将其中一个自变量从模型中剔除，看整个模型解释因变量的变异是否有显著变化，之后将最没有解释力的那个自变量剔除；此过程不断迭代，直到没有自变量符合剔除的条件。
• 缺点：向后逐步回归效果优于向前逐步回归，但是其一开始把全部变量都引入回归方程，这样计算量比较大。若对一些不重要的变量，一开始就不引入，这样就可以减少一些计算。→ 但这个缺点随着现在计算机的能力的提升，已经变得不算问题了
• 代码：stepwise regress y x1 x2 ... xk, pr(#2)（不显著就提出模型）

（3）总结

• 如果筛选后的变量仍很多，可以减小#1或者#2
• 如果筛选后的变量太少了，可以增加#1或者#2
• 注:
  • （1）x1 x2 … xk之间不能有完全多重共线性(和regress不同)
  • （2）可以在后面再加参数b和r，即标准化回归系数或稳健标准误

完全多重共线性的错误

• 现象：
• 错误原因：出现了完全多重共线性
• 处理方式：之前回归时，Stata告诉了有哪些自变量是完全多重共线性的（实际上在每个分类变量中任意去除一个元素即可）
  
• 修改后代码：stepwise reg 评价量 团购价元 商品毛重kg A1 A3 B1 B2 B3 B4 B5 B6 B7 B9 C1 D1 D2 D3 D4 E1 E2 E3 F1 G1 G2 G3, r pe(0.05)

---

附言

• 参考课程可见 B站清风数模，如上仅作个人学习后笔记整理。