目录
一、什么是逻辑回归(logistic regression)
3.1.1 最大似然估计 (Maximum Likelihood Estimation, MLE)
一、什么是逻辑回归(logistic regression)
1.1 定义
逻辑回归是一种经典的统计学习方法,被广泛用于解决二分类问题。
尽管名字中含有"回归"一词,但实际上它是一种分类算法。
用于预测一个二元因变量(即因变量的取值只有两种可能,如“是/否”,“0/1”,“成功/失败”等)与一个或多个自变量之间的关系。
1.2 算法核心思想
逻辑回归模型的核心在于使用逻辑函数(通常是Sigmoid函数)来估计概率,从而将线性回归模型的输出(通常是一个连续值)转换为介于0和1之间的概率值。
二、逻辑回归的数学原理
2.1逻辑函数--Sigmoid函数
其中
- z 是线性回归模型的输出,即 z=w1x1+w2x2+⋯+wnxn+b=
Sigmoid函数具有以下特性:
- 输出范围在 (0, 1) 之间,适合表示概率值
- 当
时
- 当
时
- 当z=0时
2.2 将线性预测映射为概率值
在逻辑回归中,我们将线性模型的输出 输入sigmoid函数
得到类别 ( y = 1 ) 的概率估计为:
类别 ( y = 0 ) 的概率则为:
三、实现逻辑回归
3.1 模型训练
3.1.1 最大似然估计 (Maximum Likelihood Estimation, MLE)
假设有数据集
其中
是第 i 个样本的特征向量
是对应的类标签(0或1)
逻辑回归模型的似然函数可以写作:
其中即sigmoid函数应用于线性模型的输出
为了最大化似然函数 ( ,通常采用对数似然函数
)进行优化,即:
通过最大化对数似然函数(寻找能够最大程度地使观察到的数据在给定模型下出现的概率),可以提高模型对数据的拟合能力,从而提高预测的准确性。
3.1.2 梯度下降优化
在逻辑回归中,我们使用对数似然函数作为损失函数,其梯度可以用来更新参数
具体步骤如下:
-
初始化参数
:通常可以随机初始化或使用零向量。
-
计算损失函数的梯度:对对数似然函数
)求梯度,得到每个参数
的梯度
-
更新参数:根据梯度的方向和学习率
,更新参数 (
):
-
重复迭代:重复上述步骤,直到损失函数收敛或达到预设的停止条件(如达到最大迭代次数或损失变化很小)。
3.2 模型评估
常用评估指标:准确率、精确率、召回率、F1分数等
四、总结
4.1逻辑回归优点
简单而有效、计算效率高、适用性广泛等
4.2 逻辑回归局限性
- 线性限制:逻辑回归假设自变量之间是线性关系,无法捕捉复杂的数据模式。
- 对特征空间的要求:逻辑回归要求特征空间是线性可分的。
- 可能存在欠拟合问题:当特征之间存在非线性关系时,逻辑回归的表现可能不佳。
4.3 逻辑回归适用场景
- 二分类问题:如预测用户是否会点击某个广告(点击/不点击),预测病人是否患有某种疾病(患病/未患病)等。
- 概率预测:逻辑回归能够输出类别的概率,适合需要精确概率估计的场景。
- 在线性可分数据集上的快速预测:对于线性可分的大规模数据集,逻辑回归能够快速训练和预测。