信息熵

在学习机器学习相关算法时碰到信息熵概念，因为毕业工作一年多时间，数学知识都还给了学校，所以只能业余时间学习数学相关知识。
信论产生背景这里就不介绍了，大家自行google或者百度。

信息熵

信息熵是用来衡量信息的大小，就像长宽高是用来衡量物体大小，时分秒是用来衡量时间大小。信息熵也有自己的单位–bit，bit就是衡量信息大小的单位。信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低。也就是说可能发生的事件种类越多,系统就越无序,熵就越大.
假设随机时间发生概率为Pi，他的不确定性度量的函数f（Pi）具有三种性质
1. Pi概率越大f（Pi）越小
2. f(Pi)是非负的
3. 多随机事件同时发生存在的总不确定性的度量，可以表示为各时间不确定性度量的和。

一个事件发生的概率越小给我们带来的信息量就越大,发生的概率大信息量就越小,所以公式会使用-logPn,Pn代表事件n发生的概率

信息熵等于所有不确定性度量的平均
H=-（P1* logP1+…Pn * logPn）
P1…Pn是事件的概率
logP 是概率的已二为底的对数