信息熵原理及实现

理论：

通过信息论的学习，可知如果信息的随机性越大，那么把它确定下来的价值也越大，信息论通过定义一种定量的学习方法“熵”来比较任意两个随机变量的信息价值

离散变量的熵定义：

连续变量的熵定义：

假设有一枚硬币，正面朝上的概率为p,反面朝上的概率为1-p,所以问题的信息熵公式

例子实现：

1. # encoding=utf-8  
2.   
3. import numpy as np  
4. import matplotlib.pyplot as plt  
5.   
6. p = np.linspace(0,1,100)  
7. entropy = -p*np.log2(p)-(1-p)*np.log2(1-p)  
8. plt.plot(p,entropy)  
9. plt.xlabel('p(x)')  
10. plt.ylabel('entropy')  
11. plt.show() 
12. 
13. 当概率p=0.5时，此问题的信息熵最大，也就是当概率等于0.5时，相比概率等于其它值时，更能引起人们兴趣，带来惊喜度