sigmoid函数推导过程

1.因为我们逻辑回归是用来做二分类，二分类有个特点就是正例概率+负例概率=1

所以我们可以将二分类的结果分为0或1，如果随机变量X只取0和1两个值并且相应的概率为

Pr(X=1) = p,Pr(X=0) = 1-p, 0<p<1（如果我们数据取1的情况下的概率我们定义成p,那么数据取0的概率就是1-p）

那么随机变量X服从参数为p的伯努利分布（0-1分布）

就是说二分类的话数据符合伯努利分布这种情况。

概率函数：

（这里p代表一个方面的类别，q代表另一个方面的类别）

2.如果伯努利分布是指数族分布，那么就可以用广义线性回归建模，用广义线性回归的性质推出sigmoid函数。

广义线性回归有三条性质

（1）p(y|x;θ)服从指数族分布

（2）T(y) = y

（3）η = θTX

既然广义线性回归由以上三条性质，那么我们可以证明伯努利分布就是指数族分布，再根据广义线性回归的剩下两条性质退出来sigmoid(用广义线性回归建模)

3.证明伯努利分布属于指数族分布

指数族分布表达式：

 我们只要将伯努利分布表达式转换成指数族分布表达式的形式并一一对应起来，就证明了伯努利分布就是指数族分布。

证明：

这是伯努利分布表达式

= 

= 

 = 

伯努利推导后的结果对照指数族分布表达式，发现可以对照起来，那么伯努利分布就是指数族分布。

4.用广义线性回归的性质推导出来sigmoid

既然证明了伯努利分布就是指数族分布，那么就可以用广义线性回归性质进行建模。

由广义线性回归的第二条性质结合这条公式可以看出

 

 成功推导出sigmoid函数

总结：

1.我们二分类数据属于伯努利分布

2.证明伯努利分布属于指数族分布

3.由于是指数族分布，可以用广义线性回归的性质进行建模

4.推导出sigmoid函数