【算法】Shannon Entropy决策中的香农熵介绍、计算以及python代码实现

1. 实现

香农熵又称信息熵，反映了一条信息的信息量大小和它的不确定性之间的关系，是信息量的度量，单位为 bit。

对于某件事情：

• 不确定性越大，熵越大，确定该事所需的信息量也越大；
• 不确定性越小，熵越小，确定该事所需的信息量也越小。

假设有一事件XX，XX事件有ii种可能性，每一种可能性发生的概率记为P(Xi)P(Xi)，则香农熵的计算公式为：

2. python代码实现：

计算给定数据集的香农熵

def calsShannonEnt(dataSet):
    numEntries = len(dataSet)
    labelCounts = {}
    for dataVec in dataSet:
        label = dataVec[-1]
        if label not in labelCounts.keys():
            labelCounts[label] = 0
        labelCounts[label] += 1
    shannonEnt = 0.0
    for key in labelCounts.keys():
        prob = float(labelCounts[key]) / numEntries
        shannonEnt -= prob * math.log(prob, 2)
    return shannonEnt

if __name__ == "__main__":
    print("Code Run As A Program")