信息熵（学习笔记）

一、信息量

信息（1.消除不确定性的事物，2.调整概率，3.排除干扰，4.确定情况）

在介绍信息熵之前，让我们先来了解一下什么是信息量。

信息量，信息量，字面意思是信息的量。既然信息可以量化。那么就有大小之分，那么信息量的大小和什么有关呢？

信息量的大小其实和事件的不确定性有关。

1、那么不确定性的变化又与什么有关呢？

1. 与结果的数量有关。
2. 与概率有关。

2、信息量的特点有哪些呢？

1. 信息量是一个正数。
2. 信息量之间可以相加。
3. 信息量是连续依赖于概率的。
4. 在概率相同的情况下，可能结果数量多的和新的信息所具有的信息量更大。

综上所述:一个事件的信息量就是这个事件发生的概率的负对数。

二、熵

对一种事物的不确定性叫做熵

在获取更多的信息后，其对应的熵也在不断的减小。

简单来说 消除熵=获取信息（熵简单来说就是一种不确定性）能够消除这种不确定性的信息有三种类型（1.调整概率，2.排除干扰，3.确定情况）

只有能够消除某人对某件事情的不确定性的事物才是信息，那些不能够消除某人对某件事情不确定性的事物被称为数据或噪音（噪音是信息获取的干扰，数据是信息和噪音的混合体）

概率和熵的区别

概率是某件事情某个可能情况的确定性，而熵是某人对某个事情到底是哪个情况的不确定性。

信息其实是相对的概念

我们接收到的信息是相对于观察者而言的，是基于观察者对该件事务的实际了解程度而言。若一件事情是确定的。例如太阳从东边升起，这是若有人告诉我，明天太阳会从东边升起，那么这个熵就为0，因为我们都知道明天太阳会从东边升起，这里没有消除我们的不确定性，因为这个信息的不确定性从一开始就不存在。若告诉一个不知道太阳是从东边升起的幼儿园小朋友的话，那么这句话就消除了不确定性。

4、那么信息熵又是什么呢？

信息熵简单来说就是概率论里面的期望，就是发生一个事件我们得到的信息量大小的一个平均值。

H = $-\sum _{x\in U}P(x)logP(x)$

H = $\sum _{x\in U}P(x)logP(x{)}^{-1}$