机器学习-逻辑斯蒂回归与最大熵模型

逻辑斯蒂回归模型：

一个事件的几率（odds）：是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p，那么该事件发生的几率是p/(1-p),该事件的对数几率（log odds）或logit函数是：logit（p）=log（p/(1-p)）=wx。

在逻辑斯蒂回归模型中，输出y=1的对数几率是输入x的线性函数。 

通过逻辑斯蒂回归模型可以将线性函数w*x转换为概率，这时线性函数的值越接近正无穷，概率值就越接近1，值越接近负无穷，概率值就越接近0.

模型参数w估计：用极大似然法估计。

 

最大熵模型：

最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有满足约束条件的可能的概率模型中，熵最大的模型是最好的模型。最大熵原理通过熵的最大化来表示等可能性。

最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最优化问题。

最大熵模型的学习问题可以转化为具体的求解对数似然函数极大化或对偶函数极大化的问题。

最大熵模型与逻辑斯蒂回归模型有类似地形式，他们又称为对数线性模型。模型学习就是在给定的训练数据条件下对模型进行极大似然估计或者正则化的极大似然估计。