机器学习系列——一文搞定逻辑回归

逻辑回归

为什么叫逻辑回归？

尽管名字中带有“回归”这个词，但逻辑回归实际上是一种分类算法，用于预测二分类或多分类问题。逻辑回归基于线性回归模型，但它使用了逻辑函数（也称为 Sigmoid 函数）将线性组合的输出转换为一个介于 0 和 1 之间的概率值。

逻辑回归的激活函数sigmoid

在二分类任务中，使用sigmoid函数作为激活函数。sigmoid函数将输出值压缩到 (0,1)范围内，可以看作是一个概率值，表示正类别的概率。输出为z。

逻辑回归的常用损失函数

对数损失函数就是二分类时的交叉熵损失函数，交叉熵损失函数：

逻辑回归的过程

数据准备，特征提取，最大化似然函数拟合模型参数，预测与评估 （文末附详细版）

逻辑回归用于多分类

（1）多个类别挑出一个类别当作正类，其他负类，训练多个分类器；

（2）将sigmoid换成softmax

进阶深挖——逻辑回归的Q&A：

1.逻辑回归是有监督还是无监督？

有监督，从损失函数来看就知道是需要标签的

2.细说逻辑回归的过程：

（1）数据准备和特征工程：提取数据中的重要特征来进行分类

（2）损失函数：交叉熵损失

（3）优化算法和模型训练：可以选择梯度下降法，根据损失函数不断优化参数

（4）评估模型：用验证集根据模型的召回率，准确度等指标评估模型性能

（5）调整超参数：评估后可以调整学习率等超参数来重新训练直到训练出满意的模型

（6）模型应用：训练好的模型就可以用于分类了