逻辑斯蒂模型与最大熵模型学习笔记

逻辑斯蒂模型和最大熵模型

1 逻辑斯蒂模型

逻辑斯蒂分布：设X是连续随机变量，X服从逻辑斯蒂分布是指X具有以下分布函数和密度函数：

μ为位置参数，γ>0为形状参数。
逻辑斯蒂分布的密度函数与分布函数图像

逻辑斯蒂回归模型源自于逻辑斯蒂分布，其分布函数F(x)是S型函数可用于二项或多类分类。

二项逻辑斯蒂回归模型：是一种分类模型，由条件概率分布P(Y/X)表示，形式为参数化的逻辑斯蒂分布，其条件概率分布为：


对于给定的输入x，可以求得P(Y=1|x)与P(Y=0|x)，比较两个条件概率值的大小，将实例x归为概率值大的那一类。我们通过监督学习方法来估计模型参数。
有时为了方便将权值向量和输入向量加以扩充，仍记作w，x，即w=(w(1),w(2),……,w(n),b)T