注释:《机器学习实战》这本书说到香农熵,查了两个小时弄明白了。
信息熵有两种通俗解释:
1.代表信息的有用程度,越有用信息熵越大,负数是不可能的,我说句话不影响别人也可以影响我自己啊。
2.代表信息的压缩大小,一段话里面有重复的,把重复的去掉就等于压缩,这个压缩的极限就是信息熵。
看下面两个链接就明白了:
https://www.zhihu.com/question/22178202,知乎大神的回答,大概看看有个了解。
http://www.ruanyifeng.com/blog/2014/09/information-entropy.html,博客达人软大大的介绍,大概的推导都给出了。
这里说明其中的一点:
![](https://i-blog.csdnimg.cn/blog_migrate/7ac187449468bf62091931c70f11a185.png)
注意单个求解的时候,是求解每个特征出现的概率,其中包括重复的特征,a,b,c,c 是这样的四个数,c出现了两次,得计算两次才可以!
![](https://i-blog.csdnimg.cn/blog_migrate/4aa3111cca4005c53d99e4d06f7b654c.png)