决策树的概念其实不难理解，下面一张图是某女生相亲时用到的决策树：
基本上可以理解为：一堆数据，附带若干属性，每一条记录最后都有一个分类（见或者不见），然后根据每种属性可以进行划分（比如年龄是>30还是<=30）,这样构造出来的一棵树就是我们所谓的决策树了，决策的规则都在节点上，通俗易懂，分类效果好。
那为什么跟节点要用年龄，而不是长相？这里我们在实现决策树的时候采用的是ID3算法，在选择哪个属性作为节点的时候采用信息论原理，所谓的信息增益。信息增益指原有数据集的熵
本文介绍了决策树的概念，并通过Python代码实现了ID3和C4.5算法，包括数据集创建、决策树构造、分类预测等步骤。同时，文章提到了算法的优缺点，如ID3只能处理离散属性，而C4.5可以处理连续属性。最后，作者展示了如何用决策树对MNIST数据集进行手写数字识别。
订阅专栏 解锁全文
扫一扫
178
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
