实证分析方法概述（附Python代码）

一知可三解

于 2025-04-05 11:09:31 发布

阅读量1.8k

点赞数 54

文章标签： python 开发语言

本文链接：https://blog.csdn.net/weixin_46563918/article/details/147002680

版权

文章目录

主要内容

1. 描述性统计分析

描述性统计分析是理解数据的基本步骤。它可以帮助我们理解变量的分布、集中趋势和分散程度。
首先，你需要对数据进行初步的描述性统计分析，以了解数据的基本特征。对于大规模数据集，描述性统计可以帮助你识别异常值、缺失值和数据分布。

常见技术：
- 均值、标准差：了解数据的集中趋势和分散程度。
- 频率分布、百分比：查看类别数据的分布情况。
- 数据可视化：使用直方图、箱型图、散点图等，帮助理解数据的分布和关系。

import pandas as pd

# 创建一个示例数据集
data = {
    'age': [23, 25, 30, 35, 40, 45, 50, 55, 60, 65],
    'income': [2500, 3000, 3500, 4000, 4500, 5000, 5500, 6000, 6500, 7000],
    'education_level': ['High School', 'Bachelor', 'Master', 'PhD', 'Master', 'PhD', 'Bachelor', 'High School', 'PhD', 'Master']
}

# 创建DataFrame
df = pd.DataFrame(data)

# 描述性统计分析
print(df.describe())  # 获取数值列的描述性统计信息
print(df['education_level'].value_counts())  # 统计教育水平的频数

# 数据可视化：散点图
import matplotlib.pyplot as plt
plt.scatter(df['age'], df['income'])
plt.title('Age vs Income')
plt.xlabel('Age')
plt.ylabel('Income')
plt.show()

解释：

df.describe()：提供数值数据的描述性统计信息，如均值、标准差、最小值、最大值等。
value_counts()：用于查看分类变量（如education_level）的分布。
散点图：用于直观显示age和income之间的关系。

2. 回归分析（Regression Analysis）

回归分析是实证分析中最常用的技术之一，适用于检验自变量和因变量之间的关系。根据研究问题，你可能需要进行线性回归或多元回归分析。

线性回归：适用于自变量和因变量之间的线性关系。
- 模型： Y = β0 + β1 * X + ε
- 应用场景：例如，分析自变量（如教育水平）对因变量（如收入）的影响。
多元回归：当有多个自变量时使用多元回归。
- 模型： Y = β0 + β1 * X1 + β2 * X2 + ... + βn * Xn + ε
- 应用场景：同时考虑多个自变量对因变量的影响，如分析多个社会经济因素对收入水平的影响。

我们将使用简单线性回归来预测income与age之间的关系。

代码实现（简单线性回归）

import statsmodels.api as sm

# 创建自变量和因变量
X = df['age']  # 自变量
y = df['income']  # 因变量

# 添加常数项（截距）
X = sm.add_constant(X)

# 构建回归模型
model = sm.OLS(y, X).fit()

# 查看回归结果
print(model.summary())

解释：

sm.add_constant(X)：向自变量数据中添加常数项（截距），这是回归模型所需的。
sm.OLS(y, X).fit()：拟合一个普通最小二乘（OLS）回归模型。
model.summary()：输出回归模型的详细结果，包括回归系数、标准误差、p值等。

3. 中介效应分析（Mediation Analysis）

中介效应分析用于检验一个自变量通过中介变量对因变量的影响。它可以帮助你理解变量之间的复杂关系，并揭示更深层次的因果机制。

常用方法：
- Baron & Kenny（1986）模型：经典的中介效应模型，主要通过回归分析逐步检验自变量、因变量和中介变量之间的关系。
- 路径分析（Path Analysis）：更复杂的结构方程模型（SEM）方法，适用于多条路径的分析。
- Bootstrapping方法：常用于估计中介效应的置信区间，提供更准确的结果。
分析步骤：
1. 进行回归分析检验自变量与中介变量的关系。
2. 检验中介变量与因变量的关系。
3. 检验自变量与因变量的关系，控制中介变量的影响。

我们将使用简单的三步回归法来实现。

import pandas as pd
import statsmodels.api as sm

# 示例数据集
data = {
    'age': [23, 25, 30, 35, 40, 45, 50, 55, 60, 65],  # 自变量
    'income': [2500, 3000, 3500, 4000, 4500, 5000, 5500, 6000, 6500, 7000],  # 因变量
    'education_level': ['High School', 'Bachelor', 'Master', 'PhD', 'Master', 'PhD', 'Bachelor', 'High School', 'PhD', 'Master']  # 中介变量
}

df = pd.DataFrame(data)

# 步骤1：检验自变量对中介变量的影响（age -> education_level）
df['education_level'] = df['education_level'].map({'High School': 0, 'Bachelor': 1, 'Master': 2, 'PhD': 3})
X = sm.add_constant(df['age'])  # 添加常数项
M = df['education_level']  # 中介变量
mediation_model_1 = sm.OLS(M, X).fit()
print("Step 1: Age -> Education Level")
print(mediation_model_1.summary())

# 步骤2：检验中介变量对因变量的影响（education_level -> income）
y = df['income']  # 因变量
M = sm.add_constant(M)  # 添加常数项
mediation_model_2 = sm.OLS(y, M).fit()
print("Step 2: Education Level -> Income")
print(mediation_model_2.summary())

# 步骤3：检验自变量对因变量的影响，并控制中介变量（age -> income, 控制education_level）
X = sm.add_constant(df[['age', 'education_level']])  # 添加自变量和中介变量
mediation_model_3 = sm.OLS(y, X).fit()
print("Step 3: Age -> Income (controlling for Education Level)")
print(mediation_model_3.summary())

解释：

步骤1：我们首先检验自变量age是否显著影响中介变量education_level（教育水平）。这是第一步回归分析的核心。
步骤2：接着，我们检验中介变量education_level是否对因变量income有显著影响。这样我们可以确认教育水平是否影响收入。
步骤3：最后，我们在回归模型中同时包含自变量age和中介变量education_level，控制教育水平后，检验自变量age是否对因变量income有显著影响。如果age的系数显著减少，说明教育水平在age和income之间起到了部分中介作用。

中介效应的判断：

如果步骤1和步骤2中，自变量和中介变量的关系显著，而中介变量与因变量的关系也显著，那么中介效应可能存在。
步骤3中的自变量（age）的影响如果显著减少（即中介变量教育水平解释了自变量和因变量之间的部分关系），就说明中介效应存在。如果自变量的影响没有显著减少，那么说明没有中介效应。

注意事项：

Bootstrapping方法：在实际应用中，为了更准确地估计中介效应及其置信区间，通常会使用Bootstrapping方法。这可以避免传统方法（如Baron & Kenny）中对假设的严格依赖，并提供更稳健的结果。statsmodels和lifelines等库提供了对Bootstrapping的支持。

4. 调节效应分析（Moderation Analysis）

调节效应分析用于检验调节变量如何影响自变量与因变量之间的关系。调节变量的作用通常是改变自变量对因变量的影响强度。

常用方法：
- 交互项回归模型：通过在回归模型中引入交互项（自变量和调节变量的乘积）来检验调节效应。
- 分组回归分析：通过在不同的调节变量值的组内进行回归分析，比较自变量对因变量的影响差异。
分析步骤：
1. 在回归模型中引入交互项。
2. 检验交互项的显著性，若显著，则表明存在调节效应。
3. 进行简单斜率分析，进一步分析调节效应的具体表现。

代码实现（调节效应分析）
假设我们想研究education_level是否调节age对income的影响。

# 创建交互项
df['age_education_interaction'] = df['age'] * df['education_level']

# 构建回归模型，包含交互项
X = sm.add_constant(df[['age', 'education_level', 'age_education_interaction']])
model = sm.OLS(df['income'], X).fit()

# 查看回归结果
print(model.summary())

解释：

交互项：df['age'] * df['education_level']生成age和education_level的交互项，用于检验调节效应。
回归结果：通过回归结果中的交互项系数，判断调节效应是否显著。

5. 结构方程模型（Structural Equation Modeling, SEM）

当你要研究变量之间的复杂关系时，结构方程模型（SEM）是一个强大的工具。SEM不仅可以估计回归系数，还能同时处理多个自变量、因变量和潜在变量之间的关系。

适用场景：当你有多个中介变量或调节变量时，SEM能够同时处理这些复杂的路径关系。
常用方法：使用AMOS、LISREL、Mplus等软件进行SEM分析。

我们使用statsmodels的Path Analysis来实现SEM。

代码实现（结构方程模型）

from statsmodels.formula.api import ols

# 使用路径分析的方式定义模型
model = ols('income ~ age + education_level', data=df).fit()
print(model.summary())

解释：

路径分析：在这个简单模型中，income由age和education_level影响，我们通过路径分析来检查直接效应。

6. 多重共线性检查（Multicollinearity Check）

在多元回归分析中，多个自变量之间可能存在强烈的相关性，这会导致多重共线性问题，影响回归系数的估计结果。你可以通过以下方法检测和解决多重共线性问题：

VIF（方差膨胀因子）：VIF值超过10通常表明存在严重的多重共线性问题。
去除高度相关的自变量：可以通过逐步回归、Lasso回归等方法减少共线性问题的影响。

代码实现（VIF计算）

from statsmodels.stats.outliers_influence import variance_inflation_factor

# 创建自变量矩阵
X = df[['age', 'education_level']]
X = sm.add_constant(X)

# 计算VIF
vif_data = pd.DataFrame()
vif_data['Variable'] = X.columns
vif_data['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]

print(vif_data)

解释：

VIF值：VIF值越高，说明对应自变量与其他自变量的共线性越强。通常，VIF值大于10表示存在严重的多重共线性。

7. 稳健性检验与敏感性分析

对于大规模的实证数据，稳健性检验和敏感性分析至关重要。你需要确保你的模型结果在不同假设下仍然成立。

稳健标准误：使用稳健标准误（如HAC标准误、White标准误等）来处理异方差性问题。
替代模型的比较：通过比较不同模型的结果，验证分析结果的稳健性。

代码实现（稳健标准误差）

# 构建回归模型，使用稳健标准误差
robust_model = sm.OLS(df['income'], X).fit(cov_type='HC3')

# 查看稳健回归结果
print(robust_model.summary())

解释：

cov_type='HC3'：表示使用异方差稳健标准误（HAC）进行回归。

8. 数据可视化与结果展示

对于大规模数据集，数据可视化可以帮助你更好地理解数据和分析结果。常见的可视化方法包括：

散点图：用于显示自变量和因变量之间的关系。
箱型图和小提琴图：用于检查数据分布和异常值。
回归拟合线：在散点图上加上回归拟合线，帮助理解回归关系。

代码实现（结果可视化）

import seaborn as sns

# 绘制回归拟合线
sns.regplot(x='age', y='income', data=df)
plt.title('Regression Line: Age vs Income')
plt.show()

# 绘制分布图
sns.histplot(df['income'], kde=True)
plt.title('Income Distribution')
plt.show()