从指数分布族到广义线性模型再到逻辑回归的sigmoid

指数分布族须满足这个公式形式：   

   其中  叫自然参数，一般是一个实数， 叫做充分统计量，统计学里的知识，一般为等于。                           

当 不同时，分布就不同。

    指数分布族包括很多（高斯分布，伯努利分布，泊松分布，伽马分布，指数分布等等）

下面证明伯努利分布属于指数分布族（对应逻辑斯蒂回归）：

   伯努利分布：

         是等于1的概率 

       

   

    对照两个式子得出：

                     ；；

                     ；

   所以伯努利分布满足指数分布族式子规范，即属于指数分布族。  

   且根据 得到

 

  广义线性模型必须满足三个假设（嫌字多直接跳到我下面的解释）：

  

   解释下这三个假设从而推出sigmoid：

   第一项，属于指数分布族，逻辑斯蒂回归满足。（因为逻辑回归假设x条件下y服从伯努利分布）；

   第二项，学习的输出即preY=E(T(y)|x)，这里E(T(y)|x)就是x条件下y的期望，怎么计算？回忆下概率     论的知识，y是随机变量， 取值为{0,1}，概率 p（y=1）=,则期望=1*  p（y=1）+0*p（y=0）       = ,所以preY=,又根据上述推导，所以preY=

   第三项，，推出sigmoid函数。

 

      好多博客说法很不规范，包括将预测的函数说成目标函数，还有推导也不清晰，所以自己总结了下，只证明逻辑回归，线性回归的话请看下面的链接。参考了此博客（这篇相对很规范也很清晰）：

 

http://blog.csdn.net/pi9nc/article/details/12571657

转自博客：https://blog.csdn.net/shevchenkoniit/article/details/79593837