逻辑斯蒂回归（b站刘二大人）

PyTorch深度学习实践（b站刘二大人）P6讲 逻辑斯蒂回归 Logistic Regression_努力学习的朱朱的博客-CSDN博客

分类问题

• 分类问题，与之前学习的线性回归问题不同，输出的是分类的概率值，在训练过程中，计算它属于每一个分类的所有概率，其中概率最大的那一种分类，就是我们要的输出结果。

 将之前的学习问题，修改成分类问题，x表示学习时间，y表示通过率，0表示不通过，1表示通过，这也叫做”二分类问题“

在之前我们的学习中， 最终预测的是一个实数，而针对分类问题，我们要把 输出的实数映射成一个0到1的概率（ [0,1] ），这个映射的过程就是本节课所学的逻辑斯蒂回归，逻辑斯蒂回归利用公式，将实数域的数值映射到 [0，1]范围内的概率。

计算概率的方式：将原本计算的实数作为变量输入到逻辑斯蒂函数中，输出的就是映射之后的概率值。 

Sigmid Founction需要满一下三个条件：

1. 函数值有极限
2. 是单调增函数
3. 是饱和函数

Sigmid Founction中最具有典型性的函数就是逻辑斯蒂函数。其他的一些Sigmid Founction如下图所示

  之前学习的函数与逻辑斯蒂回归函数的计算图的区别：可以看出逻辑斯蒂回归函数在计算出之后，还多了一步——通过使用逻辑斯蒂回归函数，把实数值映射到[0，1]的区间中，再输出。

 

 之前学习的函数的损失：计算的是两个实数值的差值，是数轴上的距离。

逻辑斯蒂回归函数的损失：输出的是一个分布，需要计算的是两类分布之间的差异，在统计学中的计算方法有——KL散度，cross-entropy（交叉熵）等，这里我们使用的是cross-entropy（交叉熵）方法。

 这个公式的值表示两个分布之间的差异的大小，值越大，差异越小。在本例中，在公式前加了负号，目的是为了符合我们的平时思维，使Loss越小，差异越小。

在本例中，是二分类问题， y 的取值只能是0或1，的取值只能  ，Loss函数如下：

对于BCE Loss:

————————————————
最终我们计算的总和公式如下：

代码的改变

• def  __init__没有改变：原因是，（逻辑斯蒂回归函数）是一个没有参数的函数，不需要在构造函数中进行初始化，直接调用就可以；

数据集的改变：因为是二分类问题， 的取值只能是0或1；

模型的改变：由于PyTorch版本更新，不用再导入torch.nn.functional包，可以直接使用包中的Sigmoid函数进行训练，如下图；

F.sigmoid会出错 

损失函数的改变：不再使用MSE损失函数，改为使用BCE损失函数，由于PyTorch版本更新，将  size_average=False 更改为  reduction='sum'

《PyTorch深度学习实践》Lecture_06 逻辑回归 Logistic Regression_　木夕敢敢的博客-CSDN博客