目录
逻辑回归(Logistic Regression)是一种广泛应用的分类算法,尽管名字中包含“回归”,但实际上它主要用于解决分类问题,特别是二分类问题。
一、原理
1. 线性回归与分类问题
- 线性回归:通过计算输入变量的加权和,并加上一个常数偏置项(截距项)来得到一个预测值。预测模型为 ŷ = hΘ(X) = Θ^T X,其中 ŷ 是预测值,Θ 是参数向量,X 是输入样本矩阵。
- 分类问题:对于二分类问题,需要估计样本属于某个类别的概率。如果估计为正类的概率大于某个阈值(如0.5),则认为该样本属于正类,否则为负类。
2. 逻辑回归的引入
- 逻辑回归不直接预测类别,而是预测样本属于正类的概率。这通过Sigmoid函数实现,将线性回归的输出值(一个连续的数值)转换为[0,1]区间内的概率值。
- Sigmoid函数表达式为 σ(t) = 1 / (1 + e(-t)),其中 t = ΘT X。当 t 趋近正无穷时,σ(t) 趋近1;当 t 趋近负无穷时,σ(t) 趋近0;当 t = 0 时,σ(t) = 0.5。
3. 决策边界
- 决策边界是假设函数的属性,由假设函数的参数决定。在逻辑回归中,决策边界是一个方程,用于标识出分类函数(模型)的分类边界。
二、应用场景
逻辑回归模型广泛应用于各个领域,包括但不限于:
- 疾病分类与预测:用于预测受伤患者的死亡率,基于患者特征分析预测发生特定疾病(如糖尿病、冠心病)的风险。
- 市场营销:预测客户购买产品或中止订购的倾向。
- 经济学:预测一个人选择进入劳动力市场的可能性,或预测房主拖欠抵押贷款的可能性。
- 自然语言处理:作为条件随机字段的基础,用于处理顺序数据。
- 信用卡交易反欺诈、点击通过率(CTR)预估等,其输出值自然地落在0到1之间,并具有概率意义。
三、优缺点
优点
- 实现简单:逻辑回归模型清晰,易于理解和实现。
- 计算代价低:计算速度快,存储资源需求低。
- 模型可解释性强:拟合出来的参数代表了每一个特征对结果的影响,是理解数据的好工具。
缺点
- 容易欠拟合:由于逻辑回归本质上是线性的分类器,不使用额外策略时,可能无法处理复杂的数据情况。
- 分类精度可能不高:在非线性问题中,逻辑回归的分类精度可能不如其他更复杂的模型。
四、数学表达
1. 假设函数
- 逻辑回归的假设函数为 hΘ(X) = σ(Θ^T X),其中 σ 是Sigmoid函数,Θ 是参数向量,X 是输入样本矩阵。
2. 目标函数(损失函数)
-
逻辑回归中常用的是交叉熵损失函数,对于二分类问题,其表达式为:
[
J(\Theta) = -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} \log(h_\Theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\Theta(x^{(i)})) \right]
]其中 m 是样本数量,y(i) 是第 i 个样本的真实标签,hΘ(x(i)) 是第 i 个样本的预测概率。
3. 参数求解
- 通常使用梯度下降法或更高级的优化算法(如牛顿法、拟牛顿法等)来求解使损失函数最小的参数 Θ。