统计学习-逻辑回归(LR)和最大熵模型

逻辑回归（logistic regression）

是统计学习中的经典分类方法。最大熵是概率模型学习中的一个准则，将其推广到分类问题得到的最大熵模型（maximum entropy model）。LR和MEM都属于对数线性模型。

二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布$P(Y|X)$,形式为参数化的逻辑斯蒂分布。这里$X$随机变量为实数，$Y$随机变量为1或者0：
$P(Y=1|X)=\frac{exp(w*x+b)}{1+exp(w*x+b)}$
P(Y=0|X)=11+exp(w∗x+