熵
什么是熵
- 熵,表示事物的不确定性
- 信息,可以消除不确定性的事物
- 看见某些特定的情况下,某些后果的成功率就变高了
- 看见某些特定的情况下,某些干扰就消除了
- 噪音,白白让人浪费注意力的东西,完全没用
信息熵的公式 是怎么推倒出来的
- 此处参考 “致敬大神”里啃西瓜书的B站视频
- 个人感觉讲的极好
- 首先先声明信息熵公式 E n t ( D ) = − ∑ k = 0 ∣ y ∣ p k l o g 2 p k Ent(D) = -\sum_{k=0}^{ {\mid}y{\mid}}p_k{log_2}p_k Ent(D)=−∑k=0∣y∣pklog2pk
y y y是出现的后果, ∣ y ∣ \mid{y}\mid ∣y∣是后果种类, p k p_k pk为第 k k k中情况出现的概率
骰子投掷次数 | 可能结果种类 |
---|---|
1 | 2 |
2 | 4 |
3 | 8 |
n n n | 2 n 2^n 2n |
这里举一个 可能结果均匀分布
的抛骰子例子:
- 如果在已知有8种可能结果情况下,就能通过 l o g 2 8 log_2{8} log28来得知 一共抛了3次硬币
- 这里
3
就是熵的大小
,即不确定性的大小
将右侧 A , B , C A, B, C A,B,C这三种非等概率的情况拆解成等概率,去对标等概率的情况
- 现在依旧有 6 6 6种情况,即 l o g 2 6 log_2{6} log26,前三种实际是一种情况,即 A A A,则 l o g 2 6 − l o g 2 3 log_2{6}-log_2{3} log26−log23
- 同理 B B B为 l o g 2 6 − l o g 2 2 log_2{6}-log_2{2} log26