HMM（隐马尔可夫模型）

原文：

https://www.cnblogs.com/skyme/p/4651331.html

https://blog.csdn.net/SummerHmh/article/details/93165974

笔记：

一、熵(Entropy)

       熵是表示物质系统状态的一种度量，用它表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。

二、最大熵模型

       这个“熵“并不是指热力学上熵的概念，而是由信息论男神克劳德·艾尔伍德·香农（Claude Elwood Shannon）在1948年提出的“信息熵“，用来描述信息的不确定程度。

信息熵公式:   

                                                      

       最大熵原理是一种选择随机变量统计特性最符合客观情况的准则，也称为最大信息原理。随机量的概率分布是很难测定的，一般只能测得其各种均值（如数学期望、方差等）或已知某些限定条件下的值（如峰值、取值个数等），符合测得这些值的分布可有多种、以至无穷多种，通常，其中有一种分布的熵最大。选用这种具有最大熵的分布作为该随机变量的分布，是一种有效的处理方法和准则。这种方法虽有一定的主观性，但可以认为是最符合客观情况的一种选择。

参考：图解最大熵原理 https://blog.csdn.net/yangziluomu/article/details/81986271

       匈牙利著名数学家、信息论最高奖香农奖得主希萨（Csiszar&