随机森林的python实现-决策树-计算数据集的信息熵

假设给定了一个数据集为
dataSet = [[1,1,‘yes’],
[1,1,‘yes’],
[1,0,‘no’],
[0,1,‘no’],
[0,1,‘no’]]
如果需要进行构建决策树，首先要计算label 为yes 与no的信息熵， 信息熵的公式https://zhuanlan.zhihu.com/p/20794583， 代码构成为
from math import log #我们要用到对数函数，所以我们需要引入math模块中定义好的log函数（对数函数）

```python
from math import log


def calcShannonEnt(dataSet):
    numEntries = len(dataSet)  #
    labelCounts = {} # 计算数据集中数据的个数，这里总共有五条数据。
    for featVec in dataSet:#通过对数据集进行循环
        currentLabel = featVec[-1]  # 找到最后一列为标签项 yes或者no
        if currentLabel not in labelCounts.keys():#如果这一行数据没有在lebelCounts保存，则为0
            labelCounts[currentLabel] = 0
        labelCounts[currentLabel] += 1  # 
    # 0:{"yes":1} 1:{"yes":2}  2:{"no":1} 3:{"no":2} 4:{"no":3}
    shannonEnt = 0.0
    for key in labelCounts:
        prob = float(labelCounts[key]) / numEntries  # 计算概率
        # 以2为底求对数
        shannonEnt -= prob * log(prob, 2)  # 递减求和得熵
    return shannonEnt

# 手动计算:  Ent = -0.4*log(2,0.4)-0.6*log(2,0.6)
# Ent_mannual = -(0.4 * log(0.4,2)) - (0.6 * log(0.6,2))
# print(Ent_mannual)