最大熵模型The Maximum Entropy：学习

http://blog.csdn.net/pipisorry/article/details/52791036

最大熵模型的学习

最大熵模型具体形式的推导+参数w的学习。

根据[最大熵模型The Maximum Entropy：模型]最大熵模型的形式如下：

 

最大熵模型学习

最大熵模型学习的思路

学习过程的具体推导

Note: 通过交换极大极小位置，即得其对偶问题。

求解内部极小化问题：求解p(y|x)的具体形式

从式6.22中可以看出，通过式6.22可以进行最大熵分类(x为文本d， y为类别c)，只需要求解出wi参数（如下）和定义好所有n个特征f。

 

至此，我们得到了这个对偶问题外部极大问题关于w的表达式了。

求解外层极大值问题：最大似然估计

{这里要求解对偶问题外部的极大化，求解出w代入6.22式中作为特征的权重，不过这里只是给出了对偶问题外部极大化问题关于w的表示。}

Note: 需要说明的是，给定最大熵模型的形式（式6.22），我们需要学习参数w，这里可以转化为最大熵模型的极大似然估计，并具体通过下面的迭代优化算法求解出来。

附：对偶函数的极大化和最大熵模型的极大似然估计的等价性（Φ(w)的极大似然表示）

证明对偶函数（φ(w)）的极大化等价于最大熵模型的极大似然估计(求解w)。{这里要说明的问题是，如果我们定义一个特定的函数，求解这个似然函数的极大值和求解对偶函数的极大化问题的公式是一样的。也就是}

 

最大熵模型的具体形式总结

 

和极大似然估计形式一致，是一种对数线性模型。

最大熵模型学习的示例

皮皮blog

 

 

最大熵模型的学习方法

上面一节中，我们已经得到了对偶问题外部极大值问题关于w的表达式了，要求解这个表达式需要使用数值方法求解其极大值。

 

通用迭代尺度法GIS

（基本已弃用）

 

[数学之美 吴军]

改进的迭代尺度法IIS

IIS的思想：假设最大熵模型当前的参数向量是λ = (λ1, λ2, …, λn)T，我们希望找到一个新的参数向量λ +δ= (λ1+δ1, λ2+δ2, …, λn+δn)T，使得模型的对数似然函数值增大。如果能有这样一种参数向量更新的方法F：λ ->λ+δ，那么就可以重复使用这一方法，直至找到对数似然函数的最大值。

IIS的具体推导参考[统计学习方法]

[10 Adam Berger. The Improved Iterative Scaling Algorithm: A Gentle Introduction. 1997.]

 

[数学之美 吴军]

梯度下降法

拟牛顿法

[李航 统计学习方法]

from: http://blog.csdn.net/pipisorry/article/details/52791036

ref: [李航 统计学习方法]

[52nlp MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）]

[北大常宝宝 《自然语言处理的最大熵模型》]