最大熵模型学习优化案例
最大熵模型最大熵模型的学习等价于约束最优化问题:案例:已知有A,B,C,D,E五种可能出现的情况,已知A,B出现的概率之和是3/10,所有五个出现概率之和为1,使用最大熵模型进行优化获得这五种情况的概率分布。该问题主要通过使用拉格朗日的对偶性,然后通过求解对偶最优化问题得到解。所以我们有:第一步,求解原始问题:第二步,利用拉格朗日乘子法:第三步:对偶问题求解:最终结果为:这里我们先固定w0和w1,然后对L(P,w)求偏导数,可以带入得到后我们可以通过另这些偏导为0,解得:
复制链接