信息熵小结（1）

信息：用来消除随机不确定性的东西。

信息量的特点:

1.非负性

2.可加性

3.（依赖概率）连续性

而满足上述的函数，-log(x)

现代定义 
信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】 
信息是确定性的增加。【逆香农信息定义】 
信息是事物现象及其属性标识的集合。【2002年】

 

 

注：在自然语言处理中，信息熵只反映内容的随机性和编码情况，与内容本身无关，

例子

（1）落霞与孤鹜齐飞，秋水共长天一色。

（2)落日下的晚霞与孤独的大雁一同飞翔，晚秋的江水和深远的天空连成一片。

而按照信息熵的计算，第二句话的信息熵比第一句的信息熵要高出一倍，与我们平常的理解不同。

 

注：对于同样的一个随机变量，观测者从不同的粒度上所得的信息熵不同

 

以上是大致的理解

 

下面是数学公式

信息熵：                

条件熵：

信息增益: Gain(y,x) &#