逻辑回归
为什么叫逻辑回归?
尽管名字中带有“回归”这个词,但逻辑回归实际上是一种分类算法,用于预测二分类或多分类问题。逻辑回归基于线性回归模型,但它使用了逻辑函数(也称为 Sigmoid 函数)将线性组合的输出转换为一个介于 0 和 1 之间的概率值。
逻辑回归的激活函数sigmoid
在二分类任务中,使用sigmoid函数作为激活函数。sigmoid函数将输出值压缩到 (0,1)范围内,可以看作是一个概率值,表示正类别的概率。输出为z。
逻辑回归的常用损失函数
对数损失函数就是二分类时的交叉熵损失函数,交叉熵损失函数:
逻辑回归的过程
数据准备,特征提取,最大化似然函数拟合模型参数,预测与评估 (文末附详细版)
逻辑回归用于多分类
(1)多个类别挑出一个类别当作正类,其他负类,训练多个分类器;
(2)将sigmoid换成softmax
进阶深挖——逻辑回归的Q&A:
1.逻辑回归是有监督还是无监督?
有监督,从损失函数来看就知道是需要标签的
2.细说逻辑回归的过程:
(1)数据准备和特征工程:提取数据中的重要特征来进行分类
(2)损失函数:交叉熵损失
(3)优化算法和模型训练:可以选择梯度下降法,根据损失函数不断优化参数
(4)评估模型:用验证集根据模型的召回率,准确度等指标评估模型性能
(5)调整超参数:评估后可以调整学习率等超参数来重新训练直到训练出满意的模型
(6)模型应用:训练好的模型就可以用于分类了