信息熵的意义

信息熵的真正意义,信息能够量化的过程,能够展示出来的数据,一组数据,在python中的量化过程,
只要能通过计算,将结果运算出来就是将问题转化为一个可以解决的问题

from collections import Counter
def entropy(y):
counter = Counter(y)
res = 0.0
for num in counter.values():
p = num / len(y)
res += -p * np.log§
return res

entropy([1,1,1,1,0,0,0,0,4,4,4,4,5])

1.2852930241200995