jm199011的博客

原创 使用Python构建决策树

1、信息增益    划分数据集的大原则是：将无序的数据变得更加有序。在划分数据集前后信息发生的变化称为信息增益，获得信息增益最高的特征就是最好的选择。集合信息的度量方式称为香农熵或者简称为熵。    我们采用Python计算信息熵，创建名为trees.py的文件，此代码的功能是计算给定数据集的熵（D）。from math import logdef calcShannonEnt(dataSet):...