数据处理和分析之分类算法：逻辑回归(LogisticRegression)：逻辑回归模型原理

最新推荐文章于 2024-10-01 12:00:00 发布
最新推荐文章于 2024-10-01 12:00:00 发布
阅读量528 收藏 19
点赞数 9
分类专栏： 数据挖掘 文章标签： 分类 逻辑回归 数据挖掘 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_87715305/article/details/142667099
版权

数据处理和分析之分类算法：逻辑回归(LogisticRegression)：逻辑回归模型原理

在这里插入图片描述

数据处理和分析之分类算法：逻辑回归 (Logistic Regression)

逻辑回归简介

逻辑回归的历史背景

逻辑回归，尽管其名称中包含“回归”，但实际上是一种广泛应用于分类问题的统计学方法。它的历史可以追溯到20世纪30年代，最初由生物统计学家R.A. Fisher和Frank Yates提出，用于分析生物实验数据。然而，逻辑回归真正成为数据科学和机器学习领域的重要工具是在20世纪70年代，随着计算机技术的发展，数据处理能力的提升，使得这种算法能够应用于更复杂的数据集和问题场景。

逻辑回归的应用场景

逻辑回归因其简单有效，被广泛应用于各种分类问题中，尤其是在二分类问题上表现尤为突出。以下是一些常见的应用场景：

  1. 医疗诊断：例如，预测患者是否患有某种疾病，基于一系列的生理指标和病史数据。
  2. 市场预测：预测用户是否会购买某个产品，基于用户的消费习惯、年龄、性别等特征。
  3. 信用评分：银行和金融机构使用逻辑回归来预测贷款申请人的违约风险。
  4. 情感分析：在自然语言处理中，逻辑回归可以用于判断文本的情感倾向，如正面或负面。
  5. 生物信息学：用于基因表达数据的分类，识别疾病相关基因。

逻辑回归模型原理

逻辑回归的核心在于使用逻辑函数（Sigmoid函数）将线性回归的输出转换为概率值，从而实现分类。其数学模型可以表示为：

P ( Y = 1 ∣ X ) = 1 1 + e − ( β 0 + β 1 X 1 + β 2 X 2 + . . . + β n X n ) P(Y=1|X) = \frac{1}{1 + e^{-(\beta_0 + \beta_1X_1 + \beta_2X_2 + ... + \beta_nX_n)}} P(Y=1∣X)=1+e−(β0​+β1​X1​+β2​X2​+...+βn​Xn​)1​

其中， P ( Y = 1 ∣ X ) P(Y=1|X) P(Y=1∣X)表示在给定特征 X X X的条件下，目标变量 Y Y Y为1的概率； β 0 , β 1 , . . . , β n \beta_0, \beta_1, ..., \beta_n β0​,β1​,...,βn​是模型的参数，需要通过训练数据来估计。

模型训练

逻辑回归模型的训练过程主要通过最大似然估计（Maximum Likelihood Estimation, MLE）来确定模型参数。最大似然估计的目标是找到一组参数，使得模型预测的概率与实际观察结果之间的对数似然函数最大。

模型评估

评估逻辑回归模型的性能通常使用准确率、精确率、召回率、F1分数以及ROC曲线和AUC值。其中，ROC曲线是通过改变分类阈值，绘制出不同阈值下模型的真正例率（True Positive Rate, TPR）和假正例率（False Positive Rate, FPR）的曲线，AUC值（Area Under Curve）则表示ROC曲线下的面积，AUC值越接近1，模型的分类性能越好。

示例：使用Python实现逻辑回归

下面是一个使用Python和scikit-learn库实现逻辑回归的示例。我们将使用一个简单的数据集，其中包含两个特征和一个二分类目标变量。

# 导入必要的库
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, classification_report, roc_auc_score

# 创建一个简单的数据集
data = {
    'Feature1': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    'Feature2': [2, 3, 4, 5, 6, 7, 8, 9, 10, 11],
    'Target': [0, 0, 0, 0, 1, 1, 1, 1, 1, 1]
}
df = pd.DataFrame(data)

# 划分数据集为训练集和测试集
X = df[['Feature1', 'Feature2']]
y = df['Target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建逻辑回归模型并训练
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测测试集
y_pred = model.predict(X_test)

# 评估模型性能
print("Accuracy:", accuracy_score(y_test, y_pred))
print("Classification Report:\n", classification_report(y_test, y_pred))
print("AUC Score:", roc_auc_score(y_test, model.predict_proba(X_test)[:, 1]))

代码解释

  1. 数据准备：我们首先创建了一个包含两个特征和一个目标变量的简单数据集。特征值和目标值是随机生成的，仅用于演示。
  2. 数据集划分：使用train_test_split函数将数据集划分为训练集和测试集，其中测试集占20%。
  3. 模型创建与训练：创建一个逻辑回归模型，并使用训练集数据进行训练。
  4. 模型预测：使用训练好的模型对测试集进行预测。
  5. 模型评估：通过计算准确率、分类报告和AUC值来评估模型的性能。

通过这个示例，我们可以看到逻辑回归模型如何在给定数据集上进行训练和预测，以及如何评估其分类性能。逻辑回归因其简单性和解释性，在许多领域中仍然是一个非常受欢迎的分类算法。

数据处理和分析之分类算法：逻辑回归模型基础

线性回归与逻辑回归的区别

线性回归和逻辑回归都是统计学中常用的预测模型，但它们在应用领域和模型设计上有着本质的区别。线性回归主要用于预测连续型变量，而逻辑回归则用于分类问题，尤其是二分类问题。

线性回归

线性回归假设因变量与自变量之间存在线性关系，模型的目标是找到一条直线（或超平面），使得所有数据点到这条直线的距离平方和最小。在数学上，线性回归模型可以表示为：

y = β 0 + β 1 x 1 + β 2 x 2 + . . . + β n x n + ϵ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + ... + \beta_n x_n + \epsilon y=β0​+β1​x1​+β2​x2​+...+βn​xn​+ϵ

其中， y y y是因变量， x 1 , x 2 , . . . , x n x_1, x_2, ..., x_n x1​,x2​,...,xn​是自变量， β 0 , β 1 , . . . , β n \beta_0, \beta_1, ..., \beta_n β0​,β1​,...,βn​是模型参数， ϵ \epsilon ϵ是误差项。

逻辑回归

逻辑回归用于处理分类问题，尤其是当因变量为二分类时。它通过使用Sigmoid函数将线性回归的输出转换为概率值，从而预测某个类别的概率。逻辑回归模型可以表示为：

P ( y = 1 ∣ x ) = 1 1 + e − ( β 0 + β 1 x 1 + β 2 x 2 + . . . + β n x n ) P(y=1|x) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \beta_2 x_2 + ... + \beta_n x_n)}} P(y=1∣x)=1+e−(β0​+β1​x1​+β2​x2​+...+βn​xn​)1​

这里的 P ( y = 1 ∣ x ) P(y=1|x) P(y=1∣x)表示在给定自变量 x x x的条件下，因变量 y y y为1的概率。

示例代码

下面是一个使用Python的scikit-learn库进行逻辑回归分类的示例：

# 导入必要的库
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification

# 生成分类数据
X, y = make_classification(n_samples=100, n_features=4, n_classes=2, random_state=1)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)

# 创建逻辑回归模型
model = LogisticRegression()

# 训练模型
model.fit(X_train, y_train)

# 预测测试集
predictions = model.predict(X_test)

# 输出预测结果
print(predictions)

Sigmoid函数的介绍与特性

Sigmoid函数，也称为Logistic函数，是一个S形的函数，其数学表达式为：

f ( x ) = 1 1 + e − x f(x) = \frac{1}{1 + e^{-x}} f(x)=1+e−x1​

特性

  1. 输出范围：Sigmoid函数的输出范围在0到1之间，这使得它非常适合用于表示概率。
  2. 非线性：Sigmoid函数是非线性的，这意味着它可以将线性不可分的数据转换为线性可分。
  3. 平滑性：Sigmoid函数是连续且平滑的，这使得它在求导时非常方便，有利于使用梯度下降等优化算法进行参数学习。

示例代码

下面是一个使用Python绘制Sigmoid函数的示例：

# 导入必要的库
import numpy as np
import matplotlib.pyplot as plt

# 定义Sigmoid函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 生成数据点
x = np.linspace(-10, 10, 100)

# 计算Sigmoid函数的值
y = sigmoid(x)

# 绘制Sigmoid函数
plt.plot(x, y)
plt.title('Sigmoid Function')
plt.xlabel('x')
plt.ylabel('sigmoid(x)')
plt.grid(True)
plt.show()

通过上述代码，我们可以直观地看到Sigmoid函数的形状和特性，这对于理解逻辑回归模型如何将线性模型的输出转换为概率至关重要。

数据处理和分析之分类算法：逻辑回归模型原理

逻辑回归的数学原理

似然函数与最大似然估计

逻辑回归是一种广泛应用于二分类问题的统计学方法，其核心在于通过最大似然估计来求解模型参数。在逻辑回归中，我们假设数据服从伯努利分布，即每个样本只有两种可能的结果。给定一组参数 θ \theta θ，似然函数 L ( θ ) L(\theta) L(θ)定义为在参数 θ \theta θ下观察到数据的概率。

假设我们有 n n n个样本，每个样本的特征向量为 x ( i ) x^{(i)} x(i)，对应的标签为 y ( i ) y^{(i)} y(i)，则似然函数可以表示为：

L ( θ ) = ∏ i = 1 n h θ ( x ( i ) ) y ( i ) ( 1 − h θ ( x ( i ) ) ) 1 − y ( i ) L(\theta) = \prod_{i=1}^{n} h_\theta(x^{(i)})^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}} L(θ)=i=1∏n​hθ​(x(i))y(i)(1−hθ​(x(i)))1−y(i)

其中， h θ ( x ) h_\theta(x) hθ​(x)是逻辑回归的假设函数，定义为：

h θ ( x ) = 1 1 + e − θ T x h_\theta(x) = \frac{1}{1 + e^{-\theta^T x}} hθ​(x)=1+e−θTx1​

最大似然估计的目标是找到参数 θ \theta θ，使得 L ( θ ) L(\theta) L(θ)最大。在实际操作中，为了简化计算，我们通常最大化对数似然函数 ℓ ( θ ) \ell(\theta) ℓ(θ)：

ℓ ( θ ) = log ⁡ L ( θ ) = ∑ i = 1 n [ y ( i ) log ⁡ h θ ( x ( i ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) ] \ell(\theta) = \log L(\theta) = \sum_{i=1}^{n} [y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)}))] ℓ(θ)=logL(θ)=i=1∑n​[y(i)loghθ​(x(i))+(1−y(i))log(1−hθ​(x(i)))]

梯度下降法求解参数

梯度下降是一种迭代优化算法，用于最小化或最大化函数。在逻辑回归中，我们使用梯度下降来最大化对数似然函数，即最小化其负值。梯度下降的更新规则为：

θ j : = θ j + α ∑ i = 1 n ( y ( i ) − h θ ( x ( i ) ) ) x j ( i ) \theta_j := \theta_j + \alpha \sum_{i=1}^{n} (y^{(i)} - h_\theta(x^{(i)})) x_j^{(i)} θj​:=θj​+αi=1∑n​(y(i)−hθ​(x(i)))xj(i)​

其中， α \alpha α是学习率， θ j \theta_j θj​是参数 θ \theta θ的第 j j j个元素， x j ( i ) x_j^{(i)} xj(i)​是第 i i i个样本的第 j j j个特征。

示例代码

下面是一个使用Python和NumPy实现逻辑回归的示例，包括似然函数和梯度下降法求解参数。

import numpy as np

# 定义sigmoid函数
def sigmoid(z):
    return 1 / (1 + np.exp(-z))

# 定义对数似然函数
def log_likelihood(theta, X, y):
    m = X.shape[0]
    h = sigmoid(X @ theta)
    return (1 / m) * np.sum(y * np.log(h) + (1 - y) * np.log(1 - h))

# 定义梯度下降函数
def gradient_descent(theta, X, y, alpha, num_iters):
    m = X.shape[0]
    J_history = np.zeros(num_iters)
    for i in range(num_iters):
        theta = theta + (alpha / m) * (X.T @ (y - sigmoid(X @ theta)))
        J_history[i] = log_likelihood(theta, X, y)
    return theta, J_history

# 示例数据
X = np.array([[1, 2], [1, 3], [1, 4], [1, 5]])
y = np.array([0, 0, 1, 1])
theta = np.zeros(2)

# 设置学习率和迭代次数
alpha = 0.01
num_iters = 1000

# 运行梯度下降
theta, J_history = gradient_descent(theta, X, y, alpha, num_iters)

# 输出最终参数和对数似然函数值
print("最终参数:", theta)
print("对数似然函数值:", J_history[-1])
示例数据解释

在这个示例中，我们使用了4个样本，每个样本有两个特征（包括一个常数项）。标签 y y y是一个二分类变量，其中前两个样本的标签为0，后两个样本的标签为1。我们从全零的参数 θ \theta θ开始，通过梯度下降法迭代更新参数，直到达到指定的迭代次数。

代码解释
  • sigmoid函数实现了逻辑回归的假设函数 h θ ( x ) h_\theta(x) hθ​(x)。
  • log_likelihood函数计算了给定参数 θ \theta θ下的对数似然函数值。
  • gradient_descent函数实现了梯度下降算法，用于更新参数 θ \theta θ。
  • 在主程序中，我们首先定义了示例数据 X X X和 y y y，以及初始参数 θ \theta θ。然后，我们设置了学习率 α \alpha α和迭代次数num_iters，并调用gradient_descent函数来求解参数。最后，我们输出了最终的参数和对数似然函数值。

通过这个示例，我们可以看到逻辑回归模型如何通过最大似然估计和梯度下降法来求解参数，从而对数据进行分类。

数据处理和分析之分类算法：逻辑回归模型构建

特征选择与处理

特征选择

特征选择是构建逻辑回归模型的关键步骤之一，它涉及到从原始数据集中挑选出最能代表数据信息的特征。特征选择的方法多种多样，包括基于统计的方法（如卡方检验、互信息）、基于模型的方法（如LASSO回归）、以及基于过滤的方法（如相关系数分析）。选择合适的特征可以提高模型的预测准确性和效率。

特征处理

特征处理包括对特征进行编码、归一化、标准化等操作，以确保模型的稳定性和准确性。例如，对于分类特征，可以使用独热编码（One-Hot Encoding）将其转换为数值特征；对于数值特征，可以使用标准化（如Z-score标准化）或归一化（如Min-Max归一化）来调整其尺度。

示例代码：特征选择与处理
import pandas as pd
from sklearn.feature_selection import SelectKBest, chi2
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

# 加载数据
data = pd.read_csv('data.csv')
X = data.drop('target', axis=1)
y = data['target']

# 特征选择
selector = SelectKBest(score_func=chi2, k=4)
X_new = selector.fit_transform(X, y)

# 特征处理
# 定义分类特征和数值特征
categorical_features = ['cat_feature_1', 'cat_feature_2']
numerical_features = ['num_feature_1', 'num_feature_2']

# 定义预处理步骤
preprocessor = ColumnTransformer(
    transformers=[
        ('cat', OneHotEncoder(), categorical_features),
        ('num', StandardScaler(), numerical_features)])

# 创建预处理和模型训练的流水线
pipeline = Pipeline(steps=[('preprocessor', preprocessor),
                           ('classifier', LogisticRegression())])

# 训练模型
pipeline.fit(X, y)

模型训练与参数优化

模型训练

逻辑回归模型的训练过程涉及到使用优化算法（如梯度下降）来最小化损失函数（如对数损失）。在训练过程中，模型会学习到每个特征的权重，以及一个偏置项，这些参数将用于分类新数据。

参数优化

参数优化是通过调整模型参数来提高模型性能的过程。在逻辑回归中，可以通过交叉验证（Cross-Validation）来选择最佳的正则化参数（如C值），以防止过拟合。此外，还可以使用网格搜索（Grid Search）或随机搜索（Random Search）等方法来寻找最佳参数组合。

示例代码：模型训练与参数优化
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import LogisticRegression

# 定义模型
model = LogisticRegression()

# 定义参数网格
param_grid = {'C': [0.001, 0.01, 0.1, 1, 10, 100, 1000] }

# 使用网格搜索进行参数优化
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X_new, y)

# 输出最佳参数
best_params = grid_search.best_params_
print("Best parameters: ", best_params)

# 使用最佳参数训练模型
best_model = grid_search.best_estimator_

数据样例

假设我们有以下数据样例：

cat_feature_1cat_feature_2num_feature_1num_feature_2target
AB10201
BA15250
AA12181
BB18220

在这个样例中，cat_feature_1和cat_feature_2是分类特征，num_feature_1和num_feature_2是数值特征，target是分类目标。通过特征选择与处理，以及模型训练与参数优化，我们可以构建一个逻辑回归模型来预测target。

以上内容详细介绍了逻辑回归模型构建中的特征选择与处理，以及模型训练与参数优化的原理和方法，并提供了具体的操作代码和数据样例。遵循这些步骤，可以有效地构建和优化逻辑回归模型，以应对分类问题。

数据处理和分析之分类算法：逻辑回归模型评估

混淆矩阵与准确率

混淆矩阵原理

混淆矩阵（Confusion Matrix）是一种用于描述分类模型性能的表格，特别是在二分类或多分类问题中。它通过比较模型预测结果与实际结果，直观地展示了模型的分类性能。混淆矩阵通常包含以下四个关键指标：

  • True Positives (TP): 实际为正类，模型预测也为正类的样本数。
  • True Negatives (TN): 实际为负类，模型预测也为负类的样本数。
  • False Positives (FP): 实际为负类，但模型错误地预测为正类的样本数。
  • False Negatives (FN): 实际为正类，但模型错误地预测为负类的样本数。

准确率计算

准确率（Accuracy）是分类模型中最直观的性能指标之一，它定义为模型正确分类的样本数占总样本数的比例。准确率的计算公式如下：

Accuracy = TP + TN TP + TN + FP + FN \text{Accuracy} = \frac{\text{TP} + \text{TN}}{\text{TP} + \text{TN} + \text{FP} + \text{FN}} Accuracy=TP+TN+FP+FNTP+TN​

示例代码与数据样例

假设我们有一个逻辑回归模型，用于预测肿瘤是否为恶性（1）或良性（0）。我们使用以下数据样例和代码来计算混淆矩阵和准确率。

数据样例
实际结果预测结果
11
10
00
01
11
00
10
01
代码示例
# 导入必要的库
from sklearn.metrics import confusion_matrix, accuracy_score

# 定义实际结果和模型预测结果
y_true = [1, 1, 0, 0, 1, 0, 1, 0]
y_pred = [1, 0, 0, 1, 1, 0, 0, 1]

# 计算混淆矩阵
cm = confusion_matrix(y_true, y_pred)
print("混淆矩阵:")
print(cm)

# 计算准确率
acc = accuracy_score(y_true, y_pred)
print("准确率:", acc)

输出解释

混淆矩阵输出可能如下：

[[2 2]
 [1 2]]

这表示：

  • TP: 2（实际为1，预测也为1）
  • TN: 2（实际为0，预测也为0）
  • FP: 2（实际为0，预测为1）
  • FN: 1（实际为1，预测为0）

准确率输出为：

0.5

这意味着模型的准确率为50%。

ROC曲线与AUC值

ROC曲线原理

ROC曲线（Receiver Operating Characteristic Curve）是一种用于评估分类模型性能的图形表示，特别是在不平衡数据集的情况下。它以假正类率（False Positive Rate, FPR）为横轴，真正类率（True Positive Rate, TPR）为纵轴，绘制出不同阈值下的分类性能。ROC曲线越靠近左上角，模型性能越好。

AUC值计算

AUC值（Area Under the Curve）是ROC曲线下的面积，其值范围在0到1之间。AUC值越高，表示模型的分类性能越好。AUC值为1表示模型完美分类，而AUC值为0.5表示模型的分类性能与随机猜测无异。

示例代码与数据样例

使用相同的肿瘤预测数据样例，我们计算ROC曲线和AUC值。

代码示例
# 导入必要的库
from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

# 定义实际结果和模型预测概率
y_true = [1, 1, 0, 0, 1, 0, 1, 0]
y_scores = [0.9, 0.4, 0.1, 0.6, 0.8, 0.2, 0.3, 0.7]

# 计算ROC曲线
fpr, tpr, thresholds = roc_curve(y_true, y_scores)

# 计算AUC值
roc_auc = auc(fpr, tpr)
print("AUC值:", roc_auc)

# 绘制ROC曲线
plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('假正类率')
plt.ylabel('真正类率')
plt.title('逻辑回归模型的ROC曲线')
plt.legend(loc="lower right")
plt.show()

输出解释

假设AUC值输出为：

0.75

这意味着模型的分类性能优于随机猜测，但仍有改进空间。ROC曲线的绘制将直观展示模型在不同阈值下的分类性能。

通过上述代码和数据样例，我们不仅计算了混淆矩阵和准确率，还绘制了ROC曲线并计算了AUC值，全面评估了逻辑回归模型的分类性能。

逻辑回归的实践应用

案例分析：信用评分系统

在金融领域，信用评分系统是逻辑回归模型的一个典型应用。银行和金融机构使用逻辑回归来预测客户违约贷款的可能性，从而决定是否批准贷款申请。逻辑回归模型能够处理多种类型的输入特征，如收入、信用历史、就业状况等，输出一个0到1之间的概率值，表示客户违约的概率。

数据样例

假设我们有以下数据样例：

客户ID年龄收入（万元）信用历史（年）就业状况是否违约
0013052全职0
00245105全职0
0032531兼职1
004501510自雇0
0053573全职1

代码示例

我们将使用Python的pandas和sklearn库来构建一个逻辑回归模型，预测客户是否违约。

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import LabelEncoder

# 创建数据框
data = {
    '年龄': [30, 45, 25, 50, 35],
    '收入（万元）': [5, 10, 3, 15, 7],
    '信用历史（年）': [2, 5, 1, 10, 3],
    '就业状况': ['全职', '全职', '兼职', '自雇', '全职'],
    '是否违约': [0, 0, 1, 0, 1]
}
df = pd.DataFrame(data)

# 数据预处理
le = LabelEncoder()
df['就业状况'] = le.fit_transform(df['就业状况'])

# 划分数据集
X = df.drop('是否违约', axis=1)
y = df['是否违约']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测
predictions = model.predict(X_test)

解释

  1. 数据加载与预处理：我们首先创建一个包含客户特征和违约标签的数据框。由于“就业状况”是分类数据，我们使用LabelEncoder将其转换为数值型数据，以便模型能够处理。
  2. 数据集划分：我们将数据集分为训练集和测试集，其中80%的数据用于训练模型，20%的数据用于测试模型的准确性。
  3. 模型构建与训练：使用LogisticRegression类构建模型，并使用训练数据集X_train和y_train训练模型。
  4. 预测：使用训练好的模型对测试集X_test进行预测，得到预测结果predictions。

案例分析：疾病诊断模型

逻辑回归在医疗领域也广泛应用，例如用于疾病诊断。通过分析患者的生理指标，如血压、血糖、年龄等，逻辑回归模型可以预测患者是否患有某种疾病，如糖尿病、心脏病等。

数据样例

假设我们有以下糖尿病诊断的数据样例：

患者ID年龄血糖（mg/dL）血压（mmHg）BMI是否患病
00140100120250
00255120130301
0033590110220
00460140140351
00545110125281

代码示例

我们将使用Python的pandas和sklearn库来构建一个逻辑回归模型，预测患者是否患有糖尿病。

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report

# 创建数据框
data = {
    '年龄': [40, 55, 35, 60, 45],
    '血糖（mg/dL）': [100, 120, 90, 140, 110],
    '血压（mmHg）': [120, 130, 110, 140, 125],
    'BMI': [25, 30, 22, 35, 28],
    '是否患病': [0, 1, 0, 1, 1]
}
df = pd.DataFrame(data)

# 划分数据集
X = df.drop('是否患病', axis=1)
y = df['是否患病']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测并评估模型
predictions = model.predict(X_test)
print(classification_report(y_test, predictions))

解释

  1. 数据加载与预处理：我们创建一个包含患者生理指标和疾病标签的数据框。
  2. 数据集划分：将数据集分为训练集和测试集，其中80%的数据用于训练模型，20%的数据用于测试模型的准确性。
  3. 模型构建与训练：使用LogisticRegression类构建模型，并使用训练数据集X_train和y_train训练模型。
  4. 预测与评估：使用训练好的模型对测试集X_test进行预测，得到预测结果predictions，并使用classification_report函数评估模型的性能，包括精确度、召回率和F1分数。

通过以上案例分析，我们可以看到逻辑回归在实际应用中的强大功能，无论是金融领域的信用评分，还是医疗领域的疾病诊断，逻辑回归都能提供有效的预测和决策支持。

逻辑回归的局限与改进

模型的线性假设

逻辑回归模型在处理分类问题时，尤其是二分类问题，通过一个线性组合的决策边界来预测事件发生的概率。然而，这一线性假设在面对非线性可分的数据集时，模型的预测能力会受到限制。例如，考虑一个二维空间中的数据点，如果它们不能通过一条直线分开，逻辑回归模型将无法准确地进行分类。

示例：非线性可分数据集

假设我们有以下数据集，其中包含两个特征X1和X2，以及一个二分类目标变量Y：

X1X2Y
110
220
331
441
141
411
230
320

这些数据点在二维空间中形成一个“X”形状，显然，它们不能通过一条直线分开。在Python中，我们可以使用scikit-learn库的LogisticRegression模型来尝试分类这些数据点：

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 数据集
X = np.array([[1, 1], [2, 2], [3, 3], [4, 4], [1, 4], [4, 1], [2, 3], [3, 2]])
y = np.array([0, 0, 1, 1, 1, 1, 0, 0])

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

# 创建逻辑回归模型
logreg = LogisticRegression()

# 训练模型
logreg.fit(X_train, y_train)

# 预测
y_pred = logreg.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')

运行上述代码，我们可能会得到一个较低的准确率，因为逻辑回归模型无法处理非线性可分的数据。

改进方法：核技巧和多项式特征

为了克服逻辑回归的线性假设限制，可以采用两种主要的改进方法：

  1. 核技巧：通过将数据映射到更高维度的空间，使得原本非线性可分的数据变得线性可分。然而，逻辑回归模型本身并不支持核技巧，但可以结合其他算法如支持向量机（SVM）使用核技巧。

  2. 多项式特征：在数据集中添加特征的高次项，如X1^2、X2^2、X1*X2等，以构建非线性决策边界。这可以通过scikit-learn的PolynomialFeatures类实现。

正则化技术的应用

逻辑回归模型在训练过程中可能会遇到过拟合问题，特别是在特征数量较多而样本数量较少的情况下。正则化技术是一种用于减少模型复杂度、防止过拟合的方法。在逻辑回归中，主要使用两种正则化技术：L1正则化（Lasso）和L2正则化（Ridge）。

L1正则化（Lasso）

L1正则化通过添加一个惩罚项来约束模型的参数，使得一些参数的值变为0，从而实现特征选择。在逻辑回归中，L1正则化可以表示为：

min ⁡ β − ( ∑ i = 1 n y i log ⁡ ( p i ) + ( 1 − y i ) log ⁡ ( 1 − p i ) ) + λ ∑ j = 1 p ∣ β j ∣ \min_{\beta} -\left(\sum_{i=1}^{n} y_i \log(p_i) + (1-y_i) \log(1-p_i)\right) + \lambda \sum_{j=1}^{p} |\beta_j| βmin​−(i=1∑n​yi​log(pi​)+(1−yi​)log(1−pi​))+λj=1∑p​∣βj​∣

其中，p_i是第i个样本属于正类的概率，y_i是第i个样本的真实标签，n是样本数量，p是特征数量，λ是正则化参数。

L2正则化（Ridge）

L2正则化同样通过添加一个惩罚项来约束模型的参数，但与L1正则化不同，L2正则化不会将参数值变为0，而是使参数值更小，从而减少模型的复杂度。在逻辑回归中，L2正则化可以表示为：

min ⁡ β − ( ∑ i = 1 n y i log ⁡ ( p i ) + ( 1 − y i ) log ⁡ ( 1 − p i ) ) + λ ∑ j = 1 p β j 2 \min_{\beta} -\left(\sum_{i=1}^{n} y_i \log(p_i) + (1-y_i) \log(1-p_i)\right) + \lambda \sum_{j=1}^{p} \beta_j^2 βmin​−(i=1∑n​yi​log(pi​)+(1−yi​)log(1−pi​))+λj=1∑p​βj2​

示例：使用正则化技术

在scikit-learn中，可以通过设置penalty参数来应用正则化技术。下面的代码示例展示了如何使用L1和L2正则化：

# 使用L1正则化
logreg_l1 = LogisticRegression(penalty='l1', solver='liblinear')
logreg_l1.fit(X_train, y_train)
y_pred_l1 = logreg_l1.predict(X_test)
accuracy_l1 = accuracy_score(y_test, y_pred_l1)
print(f'Accuracy with L1 regularization: {accuracy_l1}')

# 使用L2正则化
logreg_l2 = LogisticRegression(penalty='l2')
logreg_l2.fit(X_train, y_train)
y_pred_l2 = logreg_l2.predict(X_test)
accuracy_l2 = accuracy_score(y_test, y_pred_l2)
print(f'Accuracy with L2 regularization: {accuracy_l2}')

在上述代码中，solver参数在使用L1正则化时需要设置为liblinear，因为这是唯一支持L1正则化的求解器。通过比较使用正则化前后的准确率，我们可以评估正则化技术对模型性能的提升效果。

结论

逻辑回归模型的线性假设限制了其在非线性可分数据集上的应用，而正则化技术则有助于防止模型过拟合，提高模型的泛化能力。通过适当的改进和调整，逻辑回归模型可以更有效地应用于各种分类问题。

kkchenkx
关注
专栏目录
机器学习：基于逻辑回归（Logistic Regression）对股票客户流失预测分析
阿极的博客
04-24 6895
逻辑回归（Logistic Regression）是一种二分类的监督学习算法，用于预测样本的概率属于某一类别的概率。相比于线性回归，逻辑回归可以更好地处理分类问题。
16.逻辑回归LogisticRegression分析鸢尾花数据1
08-04
逻辑回归Logistic Regression分析鸢尾花数据 逻辑回归（Logistic Regression）是机器学习领域中的一种重要算法，常用于处理二分类问题。逻辑回归模型的主要思想是将自变量与因变量之间的关系用非线性函数表示，通常...
数据处理和分析之分类算法：逻辑回归(LogisticRegression)：数据科学导论
最新发布
2401_87715305的博客
10-01 1023
问题定义：明确项目目标，确定需要解决的问题。数据收集：从各种来源获取数据，包括数据库、API、网络爬虫等。数据清洗：处理缺失值、异常值，统一数据格式，确保数据质量。数据探索：使用统计和可视化方法理解数据的分布和关系。特征工程：选择、创建和优化用于模型训练的特征。模型选择与训练：选择合适的算法，训练模型以预测或分类。模型评估：使用测试数据评估模型的性能。模型部署：将模型应用于实际场景，进行实时或批量预测。结果解释与报告：将模型的预测结果转化为业务洞察，撰写报告。
逻辑回归（Logistic Regression）
tt丫的博客
05-11 8万+
逻辑回归是线性分类器（线性模型）—— 主要用于二分类问题【拓：如何判别一个模型是否为线性模型理论上分辨：线性模型是可以用曲线来拟合样本的，但是分类的决策边界一定是直线的数学表达上分辨：表达式中的系数w乘上自变量x（一个w系数影响一个自变量维度x）】（1）penalty：表示惩罚项（正则化类型）。字符串类型，取值为’l1’ 或者 ‘l2’，默认为’l2’。l1：向量中各元素绝对值的和，作用是产生少量的特征，而其他特征都是0，常用于特征选择；
【机器学习-07】逻辑回归（Logistic Regression，LR）算法：原理、应用与实现
qq_38614074的博客
03-21 1万+
对于二分类问题，假设我们有一个数据集，其中包含mmm个样本。每个样本由输入特征向量xxx和对应的实际类别yyy组成。我们希望通过逻辑回归模型来预测样本的类别。假设存在一条直线（或超平面），可以将数据集中的样本完全分开。zθ0θ1x1θ2x2θnxnzθ0​θ1​x1​θ2​x2​θn​xn​其中，zzz表示线性模型的输出，θ0θ1θnθθ0​θ1​θn​θ表示模型的参数，x1x。
逻辑回归（Logistic Regression)详解
热门推荐
weixin_60737527的博客
04-14 22万+
逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行分类。其中每一组数据都是由p 个指标构成。 （1）逻辑回归所处理的数据 逻辑回归是用来进行分类的。例如，我们给出一个人的 [身高，体重] 这两个指标，然后判断这个人是属于”胖“还是”瘦“这一类。对于这个问题，我们可以先测量n个
数据处理和分析之分类算法：逻辑回归与决策树的比较分析
2401_87715305的博客
10-01 779
逻辑回归(Logistic Regression)是一种广泛应用于分类问题的统计学方法，尽管其名称中包含“回归”一词，但实际上它主要用于解决二分类问题。逻辑回归的核心在于使用Sigmoid函数将线性回归的输出转换为概率值，从而实现对事件发生的概率进行预测。
小瓜讲机器学习——分类算法（一）logistic regression(逻辑回归)算法原理详解
u012915522的博客
06-11 1883
0. 引言 0.1 分类是什么？ “脑袋大脖子粗，不是大官就伙夫”应该是再中华大地上流传最为广泛最为浅显易懂的分类算法。所谓人以类聚，物以群分，后半句话其实就是分类的朴素主义解释和应用。 以下给出分类稍微严谨一点的朴素定义。 分类：按照某种方案将事物分门别类的划拨到不同群体（指定集合），贴上相应的标签的方法。 二分类：如果群体（指定集合）只有两种，我们叫这类问题为二分类问题 多分类：如果群体（指定...
逻辑回归（Logistic Regression）是一种用于分类问题的线性模型
BLOG域名:programb.blog.csdn.net
04-19 733
损失函数通常使用交叉熵损失函数，可以表示为J(w,b) = -1/m * Σ(y*log(h(x)) + (1-y)*log(1-h(x)))，其中y代表真实结果，h(x)代表逻辑回归结果。Sigmoid函数：将线性组合z通过一个sigmoid函数进行映射，得到逻辑回归结果h(x)或者1-h(x)，表示的是预测值。Sigmoid函数的公式为h(x) = 1 / (1 + exp(-z))。输入：逻辑回归的输入是一个包含n个特征的向量x，表示为x = (x1, x2, …, wn)，以及一个偏置项b。
逻辑回归（Logistic Regression）原理及其应用
qq_39031009的博客
06-16 1万+
本内容主要从逻辑回归应用场景、逻辑回归原理、逻辑回归应用案例，主要是癌症分类预测，还有分类评估方法，主要包含精确率、召回率、F1-score、AUC曲线和ROC指标。
机器学习算法（一）：逻辑回归模型（Logistic Regression, LR）
weixin_39910711的博客
08-14 10万+
线性分类器：模型是参数的线性函数，分类平面是（超）平面；非线性分类器：模型分界面可以是曲面或者超平面的组合。 典型的线性分类器有感知机，LDA，逻辑斯特回归，SVM（线性核）； 典型的非线性分类器有朴素贝叶斯（有文章说这个本质是线性的，http://dataunion.org/12344.html），kNN，决策树，SVM（非线性核） https://www.cnblogs.com/sparkw...
logistic regression (逻辑回归实验数据）
06-21
逻辑回归（Logistic Regression）是一种广泛应用的分类算法，特别是在处理二分类问题时。虽然名字中含有“回归”，但其实它主要用于解决分类任务，而非连续数值预测。其核心在于通过一个非线性的sigmoid函数将线性...
LogisticRegression逻辑回归模型_逻辑回归_信用预测_
10-02
**逻辑回归模型** 逻辑回归（Logistic Regression）是一种广泛应用的分类算法，尤其在二分类问题中表现出色。...通过对`LogisticRegression逻辑回归模型.py`的深入理解和实践，我们可以提升在信用风险预测领域的技能。
【机器学习(七)】分类和回归任务-K-近邻 (KNN)算法-Sentosa_DSML社区版
weixin_45141860的博客
09-27 1124
相比传统代码方式，利用Sentosa_DSML社区版完成机器学习算法的流程更加高效和自动化，传统方式需要手动编写大量代码来处理数据清洗、特征工程、模型训练与评估，而在Sentosa_DSML社区版中，这些步骤可以通过可视化界面、预构建模块和自动化流程来简化，有效的降低了技术门槛，非专业开发者也能通过拖拽和配置的方式开发应用，减少了对专业开发人员的依赖。
欺诈文本分类检测（十七）：支持分类原因训练
golfxiao的专栏
09-27 884
进行了数据增强，本文将使用增强后的数据对模型进行进一步训练，以便得到能同时预测出分类标签、欺诈者、原因分析多个信息。总共进行了5折数据10轮训练，每折数据进行了两轮训练。训练结果中共包含三个信息，由于三个信息的输出类型不同，需要分别分析每个字段的评测方式。
ResNet50V2:口腔癌分类
2301_76606951的博客
09-27 936
本文为为内部文章原作者：K同学啊。
欺诈文本分类检测（十六）：支持分类原因评测改造
golfxiao的专栏
09-25 1106
由此可见，如果不考虑序列中词的顺序，则选择rouge-1，反之，如果考虑序列中词的顺序，则选择rouge-L。上面的tokenize方法中，先使用jieba.cut方法进行分词，再将分词后的序列用空格连接，转换成与英文文本相同的分隔符，以便rouge库能自动分词。
ppython 实现k nearest neighbours k最近邻分类算法
luthane的博客
09-27 563
K最近邻（KNN, K-Nearest Neighbor）分类算法是数据挖掘分类技术中最简单的方法之一，也是机器学习领域中一种基本的分类和回归方法。核心思想KNN算法的核心思想是：如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。这种分类决策只依赖于最邻近的一个或几个样本的类别，而不需要构建复杂的分类模型。算法流程准备数据：对数据进行预处理，包括特征选择、特征缩放等。
【机器学习(五)】分类和回归任务-AdaBoost算法
weixin_45141860的博客
09-26 1129
相比传统代码方式，利用Sentosa_DSML社区版完成机器学习算法的流程更加高效和自动化，传统方式需要手动编写大量代码来处理数据清洗、特征工程、模型训练与评估，而在Sentosa_DSML社区版中，这些步骤可以通过可视化界面、预构建模块和自动化流程来简化，有效的降低了技术门槛，非专业开发者也能通过拖拽和配置的方式开发应用，减少了对专业开发人员的依赖。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值