最大熵模型（MaxEnt）：万法归宗（上）

引言：文献【1】中第88页，给出了最大熵模型的一般形式（其中的f为特征函数，后面我们还会讲到）：

而文献【5】中我们从另外一种不同的角度也得出了多元逻辑回归的一般形式：

可见，尽管采用的方法不同，二者最终是殊途同归、万法归宗了。 所以我们说无论是多元逻辑回归，还是最大熵模型，又或者是Softmax，它们本质上都是统一的。本文就将从最大熵原理这个角度来推导上述最大熵模型的一般形式。