Langchain系列文章目录
01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南
02-玩转 LangChain Memory 模块：四种记忆类型详解及应用场景全覆盖
03-全面掌握 LangChain：从核心链条构建到动态任务分配的实战指南
04-玩转 LangChain：从文档加载到高效问答系统构建的全程实战
05-玩转 LangChain：深度评估问答系统的三种高效方法（示例生成、手动评估与LLM辅助评估）
06-从 0 到 1 掌握 LangChain Agents：自定义工具 + LLM 打造智能工作流！
07-【深度解析】从GPT-1到GPT-4：ChatGPT背后的核心原理全揭秘
PyTorch系列文章目录
Python系列文章目录
机器学习系列文章目录
01-什么是机器学习？从零基础到自动驾驶案例全解析
02-从过拟合到强化学习：机器学习核心知识全解析
03-从零精通机器学习：线性回归入门
04-逻辑回归 vs. 线性回归：一文搞懂两者的区别与应用
文章目录
前言
在机器学习的广阔领域中，分类问题占据了重要地位——无论是预测用户是否会点击广告，还是判断一封邮件是否为垃圾邮件，分类算法都无处不在。而在众多分类算法中，逻辑回归（Logistic Regression） 以其简单高效、易于理解的特点，成为入门者和专业人士的常用工具。
本文将带你从零开始探索逻辑回归的核心知识：它的原理是什么？Sigmoid函数如何发挥作用？交叉熵损失又是怎样优化模型的？除此之外，我们还将通过对比线性回归和逻辑回归的区别，并结合实际示例，帮助你快速掌握这一经典算法。无论你是机器学习新手，还是想复习基础的高手，这篇文章都将为你提供清晰且实用的指导。
一、逻辑回归的原理
1.1 什么是逻辑回归？
逻辑回归是一种专门用于分类问题的机器学习算法。尽管名字中带有“回归”二字，但它的目标并不是预测连续值，而是判断样本属于某个类别的可能性，常用于二分类任务（如“是”或“否”）。
1.1.1 分类问题的本质
在现实生活中，许多问题需要我们做出“非此即彼”的判断。例如：
- 一封邮件是垃圾邮件还是正常邮件？
- 一个用户会购买产品还是不会？
这些问题的答案通常是离散的类别，而不是具体的数值。逻辑回归通过计算样本属于某个类别的概率，帮助我们做出分类决策。
1.1.2 逻辑回归的数学模型
逻辑回归的核心公式如下：
P ( y = 1 ∣ x ) = 1 1 + e − ( w ⋅ x + b ) P(y=1 \mid x) = \frac{1}{1 + e^{-(w \cdot x + b)}} P(y=1∣x)=1+e−(w⋅x+b)1
- ( P(y=1 \mid x) )：样本属于正类（类别1）的概率。
- ( w )：特征的权重向量。
- ( x )：输入特征向量。
- ( b )：偏置项。
- ( e )：自然对数的底。
这个公式看起来复杂，但它的核心思想很简单：通过对特征进行加权求和，再经过一个特殊的函数（Sigmoid函数）处理，输出一个0到1之间的概率值。
1.2 逻辑回归的核心思想
逻辑回归的本质是将线性模型的输出映射到概率空间，从而解决分类问题。
1.2.1 从线性到非线性
逻辑回归的基础是一个线性组合： ( z = w ⋅ x + b ) 。 ( z = w \cdot x + b )。 (z=w⋅x+b)。但直接使用这个值无法表示概率，因为它的范围可能是任意实数。为了解决这个问题，逻辑回归引入了Sigmoid函数，将 ( z ) 转换为0到1之间的值。
1.2.2 决策规则
逻辑回归通常以0.5作为分类阈值：
- 如果 ( P ( y = 1 ∣ x ) ≥ 0.5 ) ，预测为正类（ 1 ）。 ( P(y=1 \mid x) \geq 0.5 )，预测为正类（1）。 (P(y=1∣x)≥0.5)，预测为正类（1）。
- 如果 ( P ( y = 1 ∣ x ) < 0.5 ) ，预测为负类（ 0 ）。 ( P(y=1 \mid x) < 0.5 )，预测为负类（0）。 (P(y=1∣x)<0.5)，预测为负类（0）。
这种规则简单直观，非常适合二分类任务。
二、Sigmoid函数
2.1 Sigmoid函数的定义
Sigmoid函数是逻辑回归的“魔法钥匙”，它的数学表达式为：
σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1 + e^{-z}} σ(z)=1+e−z1
其中， ( z ) 是线性组合的结果（即 ( w ⋅ x + b ) ）。 ( z ) 是线性组合的结果（即 ( w \cdot x + b )）。 (z)是线性组合的结果（即(w⋅x+b)）。
2.1.1 Sigmoid函数的图像
Sigmoid函数的形状是一个平滑的“S”形曲线：
- 当 ( z ) 很大时，( \sigma(z) ) 接近1。
- 当 ( z ) 很小时，( \sigma(z) ) 接近0。
- 当 ( z = 0 ) 时，( \sigma(z) = 0.5 )。
以下是一个简单的可视化：
2.1.2 计算示例
假设 ( z = 2 )，则：
σ
(
2
)
=
1
1
+
e
−
2
≈
0.88
\sigma(2) = \frac{1}{1 + e^{-2}} \approx 0.88
σ(2)=1+e−21≈0.88
如果 ( z = -1 )，则：
σ
(
−
1
)
=
1
1
+
e
1
≈
0.27
\sigma(-1) = \frac{1}{1 + e^{1}} \approx 0.27
σ(−1)=1+e11≈0.27
这些结果表明，Sigmoid函数能够将任意实数映射到概率范围。
2.2 Sigmoid函数的作用
Sigmoid函数在逻辑回归中有两大关键作用：
2.2.1 概率映射
它将线性模型的输出转化为概率值，使得逻辑回归能够回答“样本属于正类的可能性有多大”的问题。
2.2.2 引入非线性
尽管逻辑回归的基础是线性组合，但Sigmoid函数的非线性特性使得模型能够处理一些非线性可分的数据，增强了其灵活性。
三、交叉熵损失
3.1 什么是交叉熵损失？
在训练逻辑回归模型时，我们需要一个标准来衡量预测结果与真实标签的差距。这个标准就是交叉熵损失（Cross-Entropy Loss）。
3.1.1 交叉熵损失的公式
对于二分类问题，交叉熵损失的表达式为：
[ L = − 1 N ∑ i = 1 N [ y i log ( p i ) + ( 1 − y i ) log ( 1 − p i ) ] [L = - \frac{1}{N} \sum_{i=1}^{N} \left[ y_i \log(p_i) + (1 - y_i) \log(1 - p_i) \right] [L=−N1i=1∑N[yilog(pi)+(1−yi)log(1−pi)]
- ( N )：样本总数。
- ( y_i )：第 ( i ) 个样本的真实标签（0或1）。
- ( p_i )：模型预测第 ( i ) 个样本属于正类的概率。
3.1.2 直观理解
交叉熵损失的目的是让预测概率尽量接近真实标签：
- 如果 ( y_i = 1 )，希望 ( p_i ) 尽可能接近1，损失变小。
- 如果 ( y_i = 0 )，希望 ( p_i ) 尽可能接近0，损失变小。
3.2 为什么选择交叉熵损失？
交叉熵损失有几个独特的优势：
3.2.1 对概率敏感
当预测概率偏离真实标签时，交叉熵损失会显著增加，从而“惩罚”模型，促使它快速调整参数。
3.2.2 优化友好
交叉熵损失是一个凸函数，结合梯度下降等优化方法，可以高效地找到损失的最优解。
3.3 计算示例
假设有一个样本：
- 真实标签 ( y = 1 )，预测概率 ( p = 0.9 )。
- 损失为： ( L = − [ 1 ⋅ log ( 0.9 ) ] ≈ 0.105 ) 。 ( L = - [1 \cdot \log(0.9)] \approx 0.105 )。 (L=−[1⋅log(0.9)]≈0.105)。
如果预测概率变为 ( p = 0.6 )，则：
- 损失为： ( L = − [ 1 ⋅ log ( 0.6 ) ] ≈ 0.511 ) 。 ( L = - [1 \cdot \log(0.6)] \approx 0.511 )。 (L=−[1⋅log(0.6)]≈0.511)。
可见，预测越准确，损失越小。
四、线性回归与逻辑回归的对比
4.1 两者的本质区别
线性回归和逻辑回归虽然名字相似，但用途和原理截然不同。
4.1.1 应用场景
- 线性回归：预测连续值，如房价、温度等。
- 逻辑回归：预测类别概率，如是否患病、是否购买等。
4.1.2 输出类型
- 线性回归：输出是任意实数。
- 逻辑回归：输出是0到1的概率值。
4.2 数学模型的差异
- 线性回归： ( y = w ⋅ x + b ) 。 ( y = w \cdot x + b )。 (y=w⋅x+b)。
- 逻辑回归： ( P ( y = 1 ∣ x ) = σ ( w ⋅ x + b ) ) 。 ( P(y=1 \mid x) = \sigma(w \cdot x + b) )。 (P(y=1∣x)=σ(w⋅x+b))。
逻辑回归多了Sigmoid函数这一步，将输出限制在概率范围内。
4.3 损失函数的差异
- 线性回归：使用均方误差（MSE）：
[ M S E = 1 N ∑ i = 1 N ( y i − y ^ i ) 2 ] [ MSE = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2 ] [MSE=N1i=1∑N(yi−y^i)2] - 逻辑回归：使用交叉熵损失，适合概率预测。
4.4 示例：预测考试成绩 vs. 是否及格
假设我们有一个学生的数据：学习时间（小时）。
4.4.1 线性回归预测成绩
输入：学习时间 = 5小时。
模型：
(
y
^
=
10
⋅
x
+
20
)
。
( \hat{y} = 10 \cdot x + 20 )。
(y^=10⋅x+20)。
输出：
(
y
^
=
10
⋅
5
+
20
=
70
)
( \hat{y} = 10 \cdot 5 + 20 = 70 )
(y^=10⋅5+20=70)（预测成绩70分）。
4.4.2 逻辑回归预测是否及格
输入：学习时间 = 5小时。
模型：
(
z
=
2
⋅
x
−
5
)
，
(
P
=
σ
(
z
)
)
。
( z = 2 \cdot x - 5 )，( P = \sigma(z) )。
(z=2⋅x−5)，(P=σ(z))。
计算：
(
z
=
2
⋅
5
−
5
=
5
)
，
(
P
=
σ
(
5
)
≈
0.993
)
。
( z = 2 \cdot 5 - 5 = 5 )，( P = \sigma(5) \approx 0.993 )。
(z=2⋅5−5=5)，(P=σ(5)≈0.993)。
结果：概率0.993 > 0.5，预测“及格”。
以下是代码示例（Python）：
import numpy as np
# Sigmoid函数
def sigmoid(z):
return 1 / (1 + np.exp(-z))
# 线性回归
x = 5 # 学习时间
y_linear = 10 * x + 20
print(f"线性回归预测成绩: {y_linear}") # 输出: 70
# 逻辑回归
z = 2 * x - 5
p = sigmoid(z)
print(f"逻辑回归预测及格概率: {p:.3f}") # 输出: 0.993
五、总结
本文从基础到实践，系统介绍了逻辑回归与分类问题的核心内容。以下是关键要点：
- 逻辑回归原理：通过线性组合和Sigmoid函数，将特征映射为概率，用于分类任务。
- Sigmoid函数：将任意实数转换为0到1的概率值，是逻辑回归的核心。
- 交叉熵损失：衡量预测概率与真实标签的差异，驱动模型优化。
- 与线性回归的对比：线性回归预测数值，逻辑回归预测概率，二者在目标、输出和损失函数上差异明显。
通过示例和代码，我们展示了逻辑回归的实际应用。希望这篇文章能帮助你在机器学习的道路上迈出坚实一步！
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
