最大熵模型是指在预测结果时,不添加任何主观判断的一种预测模型。
比如扔色子的点数预测,我们就是基于最大熵原理预测1-6点每个出现的概率是1/6.
如果某个面做了特殊处理,出现的概率高,那么其他面出现的概率就是,在满足这个约束条件下,平均分布其他各点的概率。
比如:3点的出现概率是1/3,那么其他点出现的概率是2/3*1/5=2/15. 这就是最大熵模型。
注意事项:
1、最大熵的计算公式是指数形式。
2、原理简单,但实现复杂。
一般步骤:
1、利用训练集,确定最大熵公式中的各个参数。这些参数如果因为训练集超出实际,则减少参数值,直到收敛。
2、根据最大熵公式,给出预测结果。