我的《机器学习实战》读书笔记（2）

在对数据进行分类的时候，如何判断算法A的分类结果和算法B的分类结果哪个结果更优？
可以使用“香农熵”。其公式如下：

图1.png

计算出来的数值H越大，代表分类越不准确。用Python的实现如下：

from math import log

# 结果数值越大,说明数据集约杂乱(有其他分类混进来)
def calcShannonEnt(dataSet):
    numEntries = len(dataSet)
    labelCounts = {}
    # 创建一个字典，记录各个类型的出现的次数，dataset的最后一列是类型
    for featVec in dataSet:
        currentLabel = featVec[-1]
        if currentLabel not in labelCounts.keys():labelCounts[currentLabel] = 0
        labelCounts[currentLabel] += 1
    # 熵，越大代表混合的数据越多
    shannonEnt = 0.0
    for key in labelCounts:
        # 每种类型的占总数的比例
        prob = float(labelCounts[key]) / numEntries
        # 公式
        shannonEnt -= prob * log(prob, 2)
    return shannonEnt复制代码

其中featVec[-1]是取最后一个值。假设我们通过某种算法，把下面的5条数据分成了一类，明显‘yes’和‘no’混在了一起，但是我们也要给这种分类‘打个分’，即香农熵。注意，dataSet的最后一列是代表着该条数据的类型。

图2.png

香农熵的计算公式中与dataSet中前两列的‘0’，‘1’没有关系。只是单纯的计算‘yes’占40%，‘no’占60%，这就是公式中的p(xi)。然后做log2计算，然后把它们的负值加在一起。
上图的数据计算结果是：0.9709505944546686
如果数据是：

图3.png

计算结果是：0.7219280948873623
数值变小了，说明分类结果更好了。
如果数据是：

图4.png

计算结果是：1.5219280948873621
数值更大了，说明分类更不准确了，也就是所使用的分类算法效果不好。
当然最完美的数据是：

图5.png

期计算结果应该比之前所有结果都小，是：0.0