统计学习方法笔记-逻辑斯谛回归与最大熵模型

    逻辑斯谛回归是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。

逻辑斯谛回归模型

逻辑斯谛分布：

    设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列的分布函数和密度函数：

                                

式中， μ为位置参数， γ>0为形状参数

    逻辑斯谛分布的密度函数f(x)和分布函数F(x)的图形分别如下图所示，分布函数属于逻辑斯谛函数，图形是一条S行曲线。该曲线以点( μ,1/2)为中心对称，满足：

                                    

曲线在中心点附近增长速度较快，在两端增长速度较慢，形状参数 γ的值越小，曲线在中心附近增长得越快。

                    

二项逻辑斯谛回归模型：

    二项逻辑斯谛回归模型是一种分类模型，由条件概率分布P(Y | X)表示，形式为参数化的逻辑斯谛分布，这里Y的取值为0或1.我们通过监督学习的方法来估计模型参数。

    定义：二项逻辑斯谛回归模型是如下的条件概率分布：