10 逻辑回归
10.1 简介
逻辑回归是一种广泛应用的分类方法,主要用于二分类问题。尽管名字中有“回归”,但它实际上是一个分类模型。逻辑回归通过建模因变量的对数几率(logit)来预测类别标签。
10.2 二分类逻辑回归
在二分类问题中,逻辑回归模型预测的是目标变量为某一类别的概率。模型的形式如下:
在Python中,scikit-learn
提供了LogisticRegression
类来实现二分类逻辑回归。
import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, roc_auc_score, confusion_matrix
# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=10, random_state=42)
# 拆分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 构建逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
y_pred_prob = model.predict_proba(X_test)[:, 1]
# 计算评估指标
accuracy = accuracy_score(y_test, y_pred)
roc_auc = roc_auc_score(y_test, y_pred_prob)
conf_matrix = confusion_matrix(y_test, y_pred)
print(f"Accuracy: {accuracy:.2f}")
print(f"ROC AUC: {roc_auc:.2f}")
print(f"Confusion Matrix:\n{conf_matrix}")
10.3 解释模型参数
逻辑回归模型中的系数 β\betaβ 代表了每个特征对目标变量的影响。通过将系数指数化,可以得到每个特征对目标变量的影响程度。
# 输出模型参数
print(f"Model coefficients: {model.coef_}")
print(f"Intercept: {model.intercept_}")
这些系数的解释是:在控制其他变量不变的情况下,每增加一个单位的某个特征,其对目标变量的对数几率的影响为该特征的系数。
10.4 多分类逻辑回归
对于多分类问题(例如,类别有三个或更多),逻辑回归模型可以扩展为多分类逻辑回归。scikit-learn
中的LogisticRegression
类同样支持多分类问题,可以通过multi_class
参数来选择'ovr'
(one-vs-rest)或'multinomial'
策略。
# 生成模拟多分类数据
X, y = make_classification(n_samples=1000, n_features=10, n_classes=3, n_informative=3, random_state=42)
# 拆分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 构建多分类逻辑回归模型
model = LogisticRegression(multi_class='multinomial', solver='lbfgs')
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy:.2f}")
10.5 逻辑回归的优缺点
逻辑回归模型简单易懂,且易于实现和解释。在处理二分类问题时,它通常是一个很好的起点。然而,逻辑回归对数据中的异常值和相关性敏感,并且在高维数据或多分类问题中,其性能可能不如其他更复杂的模型。