qq_36369898的博客

原创 熵

1信息熵一条信息的信息量与其不确定性有着直接的关系。信息量就等于不确定性的多少。信息量的比特数和所有可能情况的对数函数log有关。信息熵H=-（p1logp1+…+pnlogpn） 单位比特变量的不确定性越大，熵越大。冗余度2信息的作用信息是消除系统不确定性的唯一办法。如果没有信息，任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理都是一个消除不确定性的过程。网页搜...