1.输入
逻辑回归的输入就是一个线性回归的输出。
2.激活函数
sigmoid函数
分析:
- 回归的结果输入到sigmoid函数当中
- 输出结果:[0, 1]区间中的一个概率值,默认为0.5为阈值
输出结果解释(重要):假设有两个类别A,B,并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.6,那么这个概率值超过0.5,意味着我们训练或者预测的结果就是A(1)类别。那么反之,如果得出结果为0.3那么,训练或者预测结果就为B(0)类别。
所以接下来我们回忆之前的线性回归预测结果我们用均方误差衡量,那如果对于逻辑回归,我们预测的结果不对该怎么去衡量这个损失呢?我们来看这样一张图
那么如何去衡量逻辑回归的预测结果与真实结果的差异呢?
3.损失以及优化
1.损失
逻辑回归的损失,称之为对数似然损失,公式如下:
- 分开类别:
怎么理解单个的式子呢?这个要根据log函数的图像来理解
当y=1时:
同理,我们也可以画出当y=0时,函数的图像:
- 综合完整损失函数
接下来带入上面那个例子来计算一遍,就能有意义了。
2.优化
同样使用梯度下降优化算法,去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数,提升原本属于1类别的概率,降低原本是0类别的概率。