2020-08-22

原理
1.基础概念熵：一种事物的不确定性（比如说买西瓜的时候不知道甜不甜）信息：消除不确定性，排除干扰，确定情况（卖西瓜的人保证很甜）噪音：也是一种消息，但是不能消除你对某件事的不确定性。信息熵(Ent(D))：是一种衡量数据混乱程度的指标，信息熵越小，则数据的“纯度”越高2.熵的量化（1）概率分布相等的情况下： 所用到的公式为：解释如下：硬币数 出现的结果数量1 22 43 8n 也就是说当出现8种等概率的不确定性条件下也就是相当于抛3个硬币，即熵为3bit4种等概率的不确定性情况，相当于抛了两个硬币，熵为2那么m=10的等概率不确定情况的时候熵即为：（2）概率分布不相等的情况下所用到的公式为：解释如下：

3.信息的量化
①小明考试的时候遇到一个题，但是他并不知道ABCD中四个选项哪个是正确的，那么小明做选择的时候的熵为：②告诉小明C有一半的概率是正确的，那么A（概率为1/6）B（概率为1/6）C（概率为1/2）D（概率为1/6）信息增益为：2-1.79=0.21，则其信息增益为0.21③小明知道C有一半概率后的不确定性（熵）：