【机器学习】逻辑回归

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

逻辑回归

1.逻辑回归介绍

逻辑回归（Logistic Regression）是机器学习中的⼀种分类模型，逻辑回归是⼀种分类算法，虽然名字中带有回归。

1.1 输⼊

逻辑回归的输⼊就是⼀个线性回归的结果。

1.2 激活函数

• sigmoid函数
  

• 判断标准

  • 回归的结果输⼊到sigmoid函数当中
  • 输出结果：[0, 1]区间中的⼀个概率值，默认为0.5为阈值

输出结果解释(重要)：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有⼀个样本的 输⼊到逻辑回归输出结果0.55，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如 果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

1.3 损失

逻辑回归的损失，称之为对数似然损失，公式如下：

2.分类评估⽅法

精确率：预测结果为正例样本中真实为正例的⽐例（查的准不准）

所有预测类别为1的样本中，真实类别为1的⽐例

召回率：真实为正例的样本中预测结果为正例的⽐例（查的全不全，对正样本的区分能⼒）

所有真实类别为1的样本中，预测类别为1的⽐例

F1-score：反映了模型的稳健型

ROC曲线与AUC指标

• TPR = TP / (TP + FN)
  所有真实类别为1的样本中，预测类别为1的⽐例

• FPR = FP / (FP + TN)
  所有真实类别为0的样本中，预测类别为1的⽐例

ROC曲线的横轴就是FPRate，纵轴就是TPRate，当⼆者相等时，表示的意义则是：对于不论真实类别是1还是0的 样本，分类器预测为1的概率是相等的，此时AUC为0.5

• AUC的概率意义是随机取⼀对正负样本，正样本得分⼤于负样本得分的概率
• AUC的范围在[0, 1]之间，并且越接近1越好，越接近0.5属于乱猜
• AUC=1，完美分类器，采⽤这个预测模型时，不管设定什么阈值都能得出完美预测。绝⼤多数预测的场合，不存 在完美分类器。
• 0.5<AUC<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。