回归分析系列12—具有交互项的回归模型

14 具有交互项的回归模型

14.1 简介

在回归模型中，除了考虑单个预测变量对响应变量的影响外，还可以考虑预测变量之间的交互作用。这些交互作用项能够捕捉到一个预测变量对另一个预测变量影响的调节作用，从而提供对数据更深刻的理解。

14.2 交互项的定义

假设我们有两个预测变量 X1和 X2​，如果我们怀疑它们之间存在交互作用，那么可以在回归模型中加入一个交互项 X1*X2​。这个交互项表示 X1​ 和 X2的乘积，用来捕捉它们的共同影响。

在Python中，可以使用scikit-learn的PolynomialFeatures类来生成交互项。

from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 生成模拟数据
import numpy as np
np.random.seed(42)
X = np.random.rand(100, 2)
y = 3 * X[:, 0] + 5 * X[:, 1] + 7 * X[:, 0] * X[:, 1] + np.random.randn(100)

# 拆分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 生成包含交互项的数据
poly = PolynomialFeatures(interaction_only=True, include_bias=False)
X_train_interaction = poly.fit_transform(X_train)
X_test_interaction = poly.transform(X_test)

# 构建线性回归模型
model = LinearRegression()
model.fit(X_train_interaction, y_train)

# 预测
y_pred = model.predict(X_test_interaction)

# 计算均方误差
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse:.2f}")

14.3 交互项在模型中的解释

当模型中包含交互项时，解释回归系数变得更加复杂。交互项的系数反映了一个预测变量对另一个预测变量影响的调节作用。例如，在上面的模型中，交互项 X1×X2X_1 \times X_2X1​×X2​ 的系数可以解释为当 X1X_1X1​ 增加一个单位时，X2X_2X2​ 对响应变量的影响会增加多少。

14.4 多重交互项

在实际应用中，有时需要考虑多重交互项，尤其是当存在多个潜在的交互影响时。使用PolynomialFeatures可以轻松生成高阶和多重交互项的组合。

# 生成包含高阶交互项的数据
poly = PolynomialFeatures(degree=3, include_bias=False)
X_train_poly = poly.fit_transform(X_train)
X_test_poly = poly.transform(X_test)

# 构建线性回归模型
model = LinearRegression()
model.fit(X_train_poly, y_train)

# 预测
y_pred = model.predict(X_test_poly)

# 计算均方误差
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse:.2f}")

14.5 模型复杂度与解释性

随着交互项和高阶项的增加，模型的复杂度也随之增加。虽然复杂模型可以更好地拟合数据，但解释性可能会降低。因此，在添加交互项时，必须权衡模型的复杂度和解释性。