第L3周：ML | 逻辑回归 LogisticRegression

MIT保洁员

已于 2024-09-20 15:27:15 修改

阅读量713

点赞数 27

文章标签：逻辑回归机器学习

于 2024-09-19 22:26:15 首次发布

本文链接：https://blog.csdn.net/qq_40879041/article/details/142347051

版权

🍨 本文为🔗365天深度学习训练营中的学习记录博客
🍖 原作者：K同学啊

逻辑回归（Logistic Regression）是一种广泛应用的机器学习算法，特别适用于分类问题。尽管名字中带有“回归”，但它主要用于解决二分类或多分类问题，而不是回归问题。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。

一、基本概念

核心思想是将输入特征通过一个线性函数映射到输出，然后使用逻辑函数（Sigmoid函数或Softmax函数）将线性函数的输出转换为概率，从而实现分类。

1. 二分类逻辑回归

用于将数据分为两个类别，例如判断邮件是否为垃圾邮件、病人是否患有某种疾病、图片中是否包含某种物体等。

逻辑回归的输出是一个0到1之间的概率值，表示某个样本属于某一类的概率。模型的基本形式如下：

$y = \sigma(z) = \sigma(w^T x + b)$

其中：

$y$ 是输出概率，表示输入样本属于正类的概率
$\sigma(z)$ 是逻辑函数（Sigmoid函数），其定义为： $\sigma(z) = \frac{1}{1 + e^{-z}}$
$w$ 是模型的权重向量， $x$ 是输入特征向量， $b$ 是偏置。

Sigmoid函数将线性模型的输出值映射到[0, 1]之间，使其可以解释为概率。

决策边界：在二分类问题中，逻辑回归通过设置一个阈值（通常为0.5）来创建决策边界。如果预测的概率大于或等于0.5，则预测类别为正类（1）；如果小于0.5，则预测为负类（0）。

2. 多分类逻辑回归

在多分类问题中，使用 Softmax 函数来处理多类输出。Softmax 函数可以将一个向量的每个元素映射为概率值，并且这些概率值之和为1。Softmax函数的定义如下：

$\text{Softmax}(z_j) = \frac{e^{z_j}}{\sum_{k=1}^K e^{z_k}}$

其中， $z_j$ 是类别 $j$ 的得分， $K$ 是类别的总数。

3. 损失函数

逻辑回归使用对数损失函数（Log Loss）来优化模型。

二分类的损失函数的形式为：

$\text{Loss}(y, \hat{y}) = -\left[ y \cdot \log(\hat{y}) + (1 - y) \cdot \log(1 - \hat{y}) \right]$

其中， $y$ 是真实标签（0或1）， $\hat{y}$ 是模型预测的概率。

多分类问题中，使用交叉熵损失（Cross-Entropy Loss）

$\text{Loss}(y, \hat{y}) = -\sum_{i=1}^K y_i \cdot \log(\hat{y}_i)$

其中， $K$ 是类别总数， $y_i$ 是第 $i$ 类的真实标签， $\hat{y}_i$ 是模型预测的第 $i$ 类的概率。

二、代码实现

1. 导入库

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn import datasets
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix

前四行代码在第L1/L2周均出现过，下面解释一下最后两行代码：

（1）倒数第二行代码从scikit-learn库中导入了datasets模块。datasets模块提供了一些用于测试和演示机器学习算法的标准数据集。这些数据集包括鸢尾花（Iris）、葡萄酒（Wine）、手写数字（Digits）等，它们已经被预处理成适合直接用于训练模型的格式。

（2）最后一行代码从scikit-learn的metrics模块中导入了三个用于评估分类模型性能的函数：

accuracy_score：这个函数用于计算分类模型的准确率，即正确预测的样本数占总样本数的比例。它是评估分类模型性能的常用指标之一。
classification_report：这个函数提供了一个更全面的模型性能报告，包括每个类别的精确度（precision）、召回率（recall）、F1分数（F1-score）等。这些指标对于理解模型在不同类别上的表现特别有用。
confusion_matrix：这个函数生成一个混淆矩阵，它是一个表格，用于显示模型预测的结果与实际标签之间的关系。混淆矩阵可以帮助你识别模型在哪些类别上预测准确，哪些类别上存在问题。 详细内容补充见最后。

2. 导入数据

# 2. 加载鸢尾花数据集
iris = datasets.load_iris()
X = iris.data  # 特征矩阵
y = iris.target  # 目标变量

3. 特征标准化+数据集划分

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
x_train, X_test, y_train, y_test = train_test_split(X_scaled, y, 
                                                test_size=0.2, random_state=42)

4. 构建逻辑回归模型

from sklearn.linear_model import LogisticRegression
model = LogisticRegression(max_iter=200)  
# max_iter 是迭代次数，默认为100，这里设为200以保证收敛
model.fit(X_train, y_train)

5. 预测结果

y_pred = model.predict(X_test)

6. 评估预测结果

accuracy = accuracy_score(y_test, y_pred)
'''
f前缀表示这是一个格式化字符串，允许你在字符串中直接嵌入表达式
{accuracy:.2f}是字符串中的一个表达式占位符，其中accuracy是一个变量，
:.2f指定了格式化的规则
'''
print(f"模型的准确率: {accuracy:.2f}")

# 打印分类报告
print("分类报告:")
print(classification_report(y_test, y_pred, target_names=iris.target_names))

# 打印混淆矩阵
print("混淆矩阵:")
print(confusion_matrix(y_test, y_pred))

三、内容补充

1. classification_report

classification_report 是 scikit-learn 库中的一个函数，用于显示分类模型的性能。这个报告提供了每个类别的主要分类指标，包括：

（1）精确度（Precision）

精确度是指模型预测为正类的样本中，实际为正类的比例。它衡量的是预测结果的准确性。计算公式为：

$\text{Precision} = \frac{TP}{TP + FP}$

其中，TP 是真正类，FP 是假正类。

（2）召回率（Recall）

召回率是指模型正确预测为正类的样本占所有实际正类样本的比例。它衡量的是模型捕捉正类的能力。计算公式为：

$\text{Recall} = \frac{TP}{TP + FN}$

其中，FN 是假负类。

（3）F1分数（F1 Score）

F1分数是精确度和召回率的调和平均数，它在两者之间取得平衡。当精确度和召回率都很高时，F1分数也会很高。

计算公式为：

$F1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$

（4）支持度（Support）

支持度是指每个类别在数据集中的样本数量。

（5）target_names=iris.target_names

调用 classification_report 时，如果没有提供 target_names 参数，那么报告将使用数据集中的原始标签（通常是数字或字符串）来表示每个类别。如果你提供了 target_names 参数，那么报告将使用这些名称来代替原始标签。

例如，对于鸢尾花（Iris）数据集，类别标签可能是数字 0、1 和 2。这些数字并不直观地表示它们对应的花的种类。鸢尾花数据集通常包含以下三种花：0: Setosa；1: Versicolour；2: Virginica。

2. Confusion Matrix 混淆矩阵

混淆矩阵（Confusion Matrix）是一个用于评估分类模型性能的工具，它显示了实际类别与模型预测类别之间的关系。混淆矩阵通常用于二分类问题，但也可以扩展到多分类问题。以下是混淆矩阵的基本内容和结构：

对于二分类问题：

在二分类问题中，混淆矩阵是一个 2x2 的矩阵，包含以下四个元素：

真正类（True Positive, TP）：模型正确预测为正类的样本数。
假正类（False Positive, FP）：模型错误预测为正类，实际上是负类的样本数。
真负类（True Negative, TN）：模型正确预测为负类的样本数。
假负类（False Negative, FN）：模型错误预测为负类，实际上是正类的样本数。

对于多分类问题：

在多分类问题中，混淆矩阵是一个nxn 的矩阵，其中n是类别的数量。

每个元素(i, j)表示实际类别为i的样本被预测为类别j的次数。

3. LogisticRegression() 函数详解

sklearn.linear_model.LogisticRegression 是 scikit-learn 库中用于实现逻辑回归（Logistic Regression）的函数。这个函数可以处理二元分类、多分类问题，并且提供了多种选项来调整模型的行为。下面是对这个函数的详细介绍：

3.1 函数原型

LogisticRegression(
    penalty='l2',                 # 正则化类型，'l1', 'l2', 'elasticnet', 'none'
    dual=False,                   # 双对偶或原始方法
    tol=0.0001,                   # 优化过程的容差
    C=1.0,                        # 正则化强度的倒数，较小的值表示较强的正则化
    fit_intercept=True,           # 是否拟合截距项
    intercept_scaling=1,          # 拦截（截距）的缩放系数
    class_weight=None,            # 给定类别的权重，'balanced' 或 dict
    random_state=None,            # 随机数种子
    solver='lbfgs',               # 优化算法，{'newton-cg', 'lbfgs', 'liblinear', 'sag', 'saga'}
    max_iter=100,                 # 最大迭代次数
    multi_class='auto',           # 处理多类分类问题的方法，{'auto', 'ovr', 'multinomial'}
    verbose=0,                    # 是否在训练过程中输出日志信息
    warm_start=False,             # 是否使用上次调用的解作为初始解
    n_jobs=None,                  # 并行处理的作业数量
    l1_ratio=None                 # 混合正则化的弹性网络的l1比例
)

3.2 常用参数解释

penalty：指定正则化类型。'l2' 为默认值，'l1' 适用于稀疏特征，'elasticnet' 是 L1 和 L2 的组合，'none' 不使用正则化。
dual：对数对偶或原始方法，默认值为 False，适用于样本数量大于特征数量的情况。
tol：停止优化的标准。
C：正则化强度的倒数，值越小正则化越强。
fit_intercept：是否拟合截距项。
intercept_scaling：仅在 solver='liblinear' 时使用。
class_weight：用于处理类别不平衡问题，可以设置为 'balanced' 或者自定义的权重字典。
random_state：随机数种子，保证结果的可重复性。
solver：选择优化算法，不同算法在不同数据集上的表现不同。
max_iter：优化算法的最大迭代次数。
multi_class：处理多类分类问题的方法，'auto' 会根据数据集自动选择。
verbose：控制训练过程中的详细输出。
warm_start：是否使用上次调用的结果作为初始值。
n_jobs：并行运算的作业数量，-1 表示使用所有CPU。
l1_ratio：仅在使用 'elasticnet' 正则化时使用，控制 L1 和 L2 的比例。