学习笔记：Logistic回归

Logistic回归是一种用于分类问题的统计模型，尽管它的名字中有“回归”二字，但实际上它用于预测离散的分类变量，而不是连续变量。它的主要目标是估计某个事件发生的概率。以下是对logistic回归的详细理解：

 一.基本概念

        二分类问题：Logistic回归最常用于二分类问题，例如判断邮件是否为垃圾邮件、一个人是否患有某种疾病等。

        概率输出：Logistic回归输出的是一个概率值，该值介于0和1之间。通过设定一个阈值（通常为0.5），将概率值转换为分类标签（如0或1）。

 二.模型形式

        线性部分：Logistic回归的模型形式可以写为：z=β0+β1x1+β2x2+⋯+βnxn​，其中xi是特征，βi​是权重。

        Sigmoid函数：线性组合z通过一个Sigmoid函数映射到一个概率值p，即 p=1/1+e−z。

三.模型训练

        损失函数：Logistic回归使用对数损失函数（Log Loss），它衡量的是预测概率与实际标签之间的差异。对数损失函数的公式为： L=−1/m[yilog⁡(pi)+(1−yi)log⁡(1−pi)]L 其中 m 是样本数，yi是第 i 个样本的真实标签(其中yi只取1或0)，pi是模型预测的概率。

        优化算法：常用的优化算法包括梯度下降法、牛顿法和拟牛顿法等。

        下面就是我们的一个流程图示例：

四.优缺点

• 优点：
  • 简单易理解，容易实现。
  • 计算开销相对较小，适用于大数据集。
  • 具有良好的解释性，权重系数能直观反映每个特征的重要性。
• 缺点：
  • 对于非线性数据，性能可能不佳。
  • 可能会受到异常值的影响。