一、信息量
信息(1.消除不确定性的事物,2.调整概率,3.排除干扰,4.确定情况)
在介绍信息熵之前,让我们先来了解一下什么是信息量。
信息量,信息量,字面意思是信息的量。既然信息可以量化。那么就有大小之分,那么信息量的大小和什么有关呢?
信息量的大小其实和事件的不确定性有关。
1、那么不确定性的变化又与什么有关呢?
- 与结果的数量有关。
- 与概率有关。
2、信息量的特点有哪些呢?
- 信息量是一个正数。
- 信息量之间可以相加。
- 信息量是连续依赖于概率的。
- 在概率相同的情况下,可能结果数量多的和新的信息所具有的信息量更大。
综上所述:一个事件的信息量就是这个事件发生的概率的负对数。
二、熵
对一种事物的不确定性叫做熵
在获取更多的信息后,其对应的熵也在不断的减小。
简单来说 消除熵=获取信息(熵简单来说就是一种不确定性)能够消除这种不确定性的信息有三种类型(1.调整概率,2.排除干扰,3.确定情况)
只有能够消除某人对某件事情的不确定性的事物才是信息,那些不能够消除某人对某件事情不确定性的事物被称为数据或噪音(噪音是信息获取的干扰,数据是信息和噪音的混合体)
概率和熵的区别
概率是某件事情某个可能情况的确定性,而熵是某人对某个事情到底是哪个情况的不确定性。
信息其实是相对的概念
我们接收到的信息是相对于观察者而言的,是基于观察者对该件事务的实际了解程度而言。若一件事情是确定的。例如太阳从东边升起,这是若有人告诉我,明天太阳会从东边升起,那么这个熵就为0,因为我们都知道明天太阳会从东边升起,这里没有消除我们的不确定性,因为这个信息的不确定性从一开始就不存在。若告诉一个不知道太阳是从东边升起的幼儿园小朋友的话,那么这句话就消除了不确定性。
4、那么信息熵又是什么呢?
信息熵简单来说就是概率论里面的期望,就是发生一个事件我们得到的信息量大小的一个平均值。
H = − ∑ x ∈ U P ( x ) l o g P ( x ) -\displaystyle\sum_{x\in U}P(x)logP(x) −x∈U∑P(x)logP(x)
H = ∑ x ∈ U P ( x ) l o g P ( x ) − 1 \displaystyle\sum_{x\in U}P(x)logP(x)^{-1} x∈U∑P(x)logP(x)−1