机器学习回归分析系列2-二项回归模型

04 二项回归模型

4.1 简介

二项回归模型用于处理二元响应变量，即因变量是0或1的分类变量。最常见的二项回归模型是逻辑回归，它可以用来预测事件发生的概率。

逻辑回归模型假设：

其中，p 是事件发生的概率，x1,x2,…,xp是自变量。

4.2 拟合逻辑回归模型

在Python中，我们可以使用statsmodels或scikit-learn库来拟合逻辑回归模型。下面是使用statsmodels的示例：

import statsmodels.api as sm
import numpy as np
import pandas as pd

# 生成模拟数据
np.random.seed(0)
X = np.random.rand(100, 2)
y = (X[:, 0] + X[:, 1] + np.random.randn(100) > 1.5).astype(int)  # 因变量

# 添加截距项
X = sm.add_constant(X)

# 拟合逻辑回归模型
logit_model = sm.Logit(y, X).fit()

# 输出回归结果
print(logit_model.summary())

4.3 解释逻辑回归系数

逻辑回归模型的系数表示对数几率的变化。具体来说，每个系数 βj\beta_jβj​ 表示自变量 xjx_jxj​ 每增加一个单位时，对数几率的变化量。

在实际应用中，我们通常关心自变量对事件发生概率 ppp 的影响，这可以通过对数几率的逆函数来计算：

4.4 模型诊断与检验

与线性回归类似，逻辑回归模型也需要进行诊断和检验。常用的方法包括似然比检验、AIC、BIC等。我们可以通过以下代码来获取这些信息：

# 获取AIC和BIC
aic = logit_model.aic
bic = logit_model.bic

print(f"AIC: {aic}")
print(f"BIC: {bic}")

4.5 分类阈值与预测

逻辑回归模型通常输出的是事件发生的概率，但在实际应用中，我们需要将这些概率转换为分类标签（0或1）。这通常通过设定一个分类阈值来实现，例如0.5：

# 预测概率
y_pred_prob = logit_model.predict(X)

# 根据阈值进行分类
threshold = 0.5
y_pred = (y_pred_prob > threshold).astype(int)

print(y_pred)

4.6 示例：学生录取数据

接下来，我们通过一个具体的例子来应用逻辑回归模型。假设我们有一个数据集，记录了100名学生的GRE分数、GPA以及是否被某个大学录取的信息。我们可以使用逻辑回归模型来预测学生是否会被录取。

# 生成模拟数据
data = pd.DataFrame({
    'GRE': np.random.normal(300, 15, 100),
    'GPA': np.random.normal(3.5, 0.3, 100),
    'admitted': np.random.choice([0, 1], size=100)
})

# 定义自变量和因变量
X = data[['GRE', 'GPA']]
y = data['admitted']

# 添加截距项
X = sm.add_constant(X)

# 拟合逻辑回归模型
logit_model = sm.Logit(y, X).fit()

# 输出回归结果
print(logit_model.summary())

# 预测录取概率
y_pred_prob = logit_model.predict(X)

# 根据0.5的阈值进行分类
y_pred = (y_pred_prob > 0.5).astype(int)

print(y_pred)

通过这个例子，我们可以看到逻辑回归模型如何用于二分类问题，并且如何解释和应用模型的输出结果。