逻辑回归的原理(用于解决二分类问题）

1.输入

                

        逻辑回归的输入就是一个线性回归的输出。

2.激活函数

        sigmoid函数

 分析：

• 回归的结果输入到sigmoid函数当中
• 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值

输出结果解释(重要):假设有两个类别A，B,并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.6，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

所以接下来我们回忆之前的线性回归预测结果我们用均方误差衡量,那如果对于逻辑回归，我们预测的结果不对该怎么去衡量这个损失呢?我们来看这样一张图

 那么如何去衡量逻辑回归的预测结果与真实结果的差异呢？

3.损失以及优化

1.损失

逻辑回归的损失，称之为对数似然损失，公式如下：

• 分开类别：

 

怎么理解单个的式子呢？这个要根据log函数的图像来理解 

当y=1时： 

同理，我们也可以画出当y=0时，函数的图像： 

•  综合完整损失函数

 

 接下来带入上面那个例子来计算一遍，就能有意义了。

2.优化

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。