逻辑斯蒂回归模型与最大熵模型

逻辑斯蒂回归模型

逻辑斯蒂回归是统计学习的经典分类方法.

最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型

逻辑斯谛模型和最大熵模型都属于对数线性模型

逻辑斯蒂分布

        分布函数：

                   

                   F(X)= p( X <= x ) = 1 / (1 + exp(-(x-u)/γ))

         密度函数：

                  

                   f(x)= F`(x) = exp(-(x-u)/γ) / γ(1 + exp(-(x-u)/γ))²

                   式中：u为位置参数，γ >0为形状参数（γ越小，曲线在中心增长越快）

二项逻辑斯蒂回归模型

P(Y=1 l x)=exp(w*x+b) / [1+exp(w*x+b)]

P(Y=0 l x)= 1  /  [1+exp(w*x+b)]

有时为了方便，将b并入w向量中

最后写成：       

                    P(Y=1 l x)=exp(w.*x) / [1+exp(w*x)]

                    P(Y=0 l x)= 1  /  [1+exp(w.*x)]

给定实例，可以分别求得P（Y=1）和P（Y=0）的值，将实例分配到概率较大的一方

事件发生几率（odds）

如果事件发生概率为p，那么该事件的几率是 p / (1-p)

对数几率或logit函数：

logit(p)=log [p /(1-p) ] 

对于逻辑斯蒂回归而言

log [ P(Y-1) / [1-P(y=1)] ]=w.*x

模型参数估计