回归分析系列8—逻辑回归

 10 逻辑回归

10.1 简介

逻辑回归是一种广泛应用的分类方法，主要用于二分类问题。尽管名字中有“回归”，但它实际上是一个分类模型。逻辑回归通过建模因变量的对数几率（logit）来预测类别标签。

10.2 二分类逻辑回归

在二分类问题中，逻辑回归模型预测的是目标变量为某一类别的概率。模型的形式如下：

在Python中，scikit-learn提供了LogisticRegression类来实现二分类逻辑回归。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, roc_auc_score, confusion_matrix

# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=10, random_state=42)

# 拆分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 构建逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)
y_pred_prob = model.predict_proba(X_test)[:, 1]

# 计算评估指标
accuracy = accuracy_score(y_test, y_pred)
roc_auc = roc_auc_score(y_test, y_pred_prob)
conf_matrix = confusion_matrix(y_test, y_pred)

print(f"Accuracy: {accuracy:.2f}")
print(f"ROC AUC: {roc_auc:.2f}")
print(f"Confusion Matrix:\n{conf_matrix}")

10.3 解释模型参数

逻辑回归模型中的系数 β\betaβ 代表了每个特征对目标变量的影响。通过将系数指数化，可以得到每个特征对目标变量的影响程度。

# 输出模型参数
print(f"Model coefficients: {model.coef_}")
print(f"Intercept: {model.intercept_}")

这些系数的解释是：在控制其他变量不变的情况下，每增加一个单位的某个特征，其对目标变量的对数几率的影响为该特征的系数。

10.4 多分类逻辑回归

对于多分类问题（例如，类别有三个或更多），逻辑回归模型可以扩展为多分类逻辑回归。scikit-learn中的LogisticRegression类同样支持多分类问题，可以通过multi_class参数来选择'ovr'（one-vs-rest）或'multinomial'策略。

# 生成模拟多分类数据
X, y = make_classification(n_samples=1000, n_features=10, n_classes=3, n_informative=3, random_state=42)

# 拆分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 构建多分类逻辑回归模型
model = LogisticRegression(multi_class='multinomial', solver='lbfgs')
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy:.2f}")

10.5 逻辑回归的优缺点

逻辑回归模型简单易懂，且易于实现和解释。在处理二分类问题时，它通常是一个很好的起点。然而，逻辑回归对数据中的异常值和相关性敏感，并且在高维数据或多分类问题中，其性能可能不如其他更复杂的模型。