第六章——逻辑斯蒂回归和最大熵模型

逻辑斯蒂分布(logistic distribution)

根据函数表达式，中心对称与(u,1/2)

二项逻辑斯蒂回归模型

因为事件Y=1发生的几率是x的线性函数，所以x越大事件发生的几率越大。当x趋近于正无穷，事件发生的几率是1.负无穷，事件发生的几率是0

参数估计

利用极大似然法：

K项逻辑斯蒂回归模型

最大熵模型

首先用一个例子介绍一个思想：

最大熵的思想：当你要猜一个概率分布时，如果你对这个分布一无所知，那就猜熵最大的均匀分布，如果你对这个分布知道一些情况，那么，就猜满足这些情况的熵最大的分布。熵最大，说明这个程序均匀分布的越好

现在，假设我们已经有了样本，可以这样表示部分样本

按照最大熵思想，如果我们一无所知，就猜均匀分布。但是我们已经有了样本， 说明我们已经知道一些东西了。接下来就是，如果让我们的样本变成数据呢？注意这里是条件熵

可以看到H§的关键就在于P(y/x)。那么P(y/x)如何约束呢？
首先引入特征函数与其期望值

如果我们的模型正确，我们就可以假设下列等式

这就作为我们的约束条件。如果有n个不同的特征函数，那么就是n个等式
所以，求解最大熵转化为约束最优化问题

接下来就是求解这个等式，利用了拉格朗日乘法，对偶问题最小化等思想，可以参考书本我是不想看了
函数求解成功后，即得到P(y/x)的值