首先明确几个概念
Sigmoid函数:形似S的函数,对率函数是Sigmoid函数最重要的代表。
对率函数:对数几率函数。形如,由此可得
,
称为几率(odds),对几率取对数就得到对数几率(log odds,或logit).
考虑二分类任务,其输出label,而线性回归模型的预测值为
,要使Z的值接近0或1,我们就应该想个办法,用一个什么函数。就像感知机模型中我们利用sign函数使得感知机模型输出-1或1,从而使其与标准输出
相对应。这个时候我们就用到了对数几率函数!
(1)
即
式(1)实际上是利用线性回归模型的预测结果去逼近真实label的对数几率,所以此模型称为“对数几率回归”(logistics regression,也称logit regression,也被称为逻辑回归)。