时序数据的信息熵计算

跟着谢老师学机器学习的第三章，用信息论来推导对数几率回归，比较有心得的是信息熵和相对熵。
信息熵度量随机变量的不确定性，信息熵越大则越不确定；
相对熵度量两个分布的差异性，相对熵越大则差异越大。
感觉这个在功率预测方面可以用一下
比如用信息熵衡量功率的不确定性，用相对熵衡量特征与功率之间的变化的差异性。

于是网上搜了信息熵的计算方法，有用sampen函数，但sampen函数不太会用，所以只好自己写了一个计算信息熵的代码，如有问题请批评指正：

def calculation_entropy(y):
    #统计每个类别的出现次数
    class_count = {}  #字典，字典通过‘键’来索引
    total_count = len(y)
    for i in y:
        if i in class_count:
            class_count[i] += 1  # i为字典的索引‘键’
        else:
            class_count[i] = 1
    #计算信息熵
    entropy = 0
    for i in class_count.values():
        probability = i / total_count
        entropy += - probability * math.log(probability)
    return entropy