为什么能用g（x）来预测可能性

逻辑回归的输入是一个线性组合，与线性回归一样，但输出变成了概率。而且逻辑回归用于预测两类问题，类似一个伯努利试验。假设在一个伯努利试验中，成功的概率是p，失败的概率是1−p，我们设逻辑回归的输出是成功的概率p，那么需要一个函数将逻辑回归的输入（一个线性组合）与p联系起来。下面介绍这个函数，它的名字叫Logit.

我们定义： 

Odds=p1−p(1)

上式很直观，表示成功的概率是失败概率的多少倍，中文叫做发生比。

 

对Odds取自然对数： 

ln(Odds)=ln(p1−p)=ln(p)−ln(1−p)(2)

上式即为logit函数的定义，参数为p，记为： 

 

logit(p)=ln(Odds)(3)

logit(p)的图像如下所示，可以看到它的定义域是[0,1]，值域是R。 

 

但我们要的是定义域是R，值域是[0,1]。于是我们求(3)式的反函数，并将参数p用另一个参数α表示，有： 

logit−1(α)=11+e−α=eα1+eα(4)

上式中α可以取全体实数，而该函数的值域变成了(0,1)，这正是我们想要的效果。logit(p)的反函数logit−1(α)的名称就是我们常常听到的sigmoid函数。