1. 信息熵 information entropy
熵 (entropy) 一词最初来源于热力学。1948年, Shannon(香农)首次将热力学中的熵引入信息论,也被称为香农熵 (Shannon entropy)或信息熵 (information entropy),由此开启了信息论的先河。
首先,信息是一个很抽象的概念,维基百科指出信息是经过处理、组织和结构化的数据。它为数据提供上下文并支持决策过程。信息与数据相关联。不同之处在于信息解决了不确定性。
一条信息的信息量大小与它的不确定性有直接的关系。直观理解,信息量的度量就等于不确定性的多少。不确定性越高,信息熵越高,不确定性越低,信息熵越低。
考虑一个离散的随机变量,取值个数有限,信息的量度依赖于概率分布,因此需要寻找一个函数,它是概率密度函数