最大熵模的理解与最大熵模型逻辑回归相似转换条件

没错，一般说的“特征”都是指输入的特征，而最大熵模型中的“特征”指的是输入和输出共同的特征。
最大熵模型中的每个特征会有一个权重，你可以把它理解成这个特征所描述的输入和输出有多么倾向于同时出现。

可以以多类logistic regression为例，来感受一下两种视角的不同。
在一般的视角下，每条输入数据会被表示成一个n维向量，可以看成n个特征。而模型中每一类都有n个权重，与n个特征相乘后求和再经过softmax的结果，代表这条输入数据被分到这一类的概率。
在最大熵模型的视角下，每条输入的n个“特征”与k个类别共同组成了nk个特征，模型中有nk个权重，与特征一一对应。每个类别会触发nk个特征中的n个，这n个特征的加权和经过softmax，代表输入被分到各类的概率。

作者：王赟 Maigo
链接：https://www.zhihu.com/question/24094554/answer/108247115
来源：知乎
著作权归作者所有，转载请联系作者获得授权。