熵:
最大熵原理:
最大熵原理认为要选择的概率模型首先必须满足已有的事实,即约束条件,在没有更多信息的情况下,那些不确定的部分都是“等可能的”,最大熵原理通过熵的最大化来表示等可能性,“等可能”不容易操作,而熵则是一个可优化的数值指标。
将最大熵原理运用到条件概率或者模型中就得到最大熵模型。
最大熵模型
最大熵模型是一种常用的分类算法,它的特点是能以满足限定条件下的熵值最大化为准则,对各种不同类型的特征训练给出一组对应的权值,然后通过线性组合,把他们整合到一个统一的模型中。
最大熵模型的优缺点