前言:决策树系列看的比较揪心,道理很清楚,有点类似于“思维导图”,有中心点、发散的树枝以及终结点。其实像,我们平常做决策时,首先选择影响最大的属性进行最开始分 类,然后选择次重要的属性,最后得到每一支的结果。
其目的:找到一个最简单的决策树模型(其中,分类属性的选择很重要)。
每一个分叉处,其属性的选择取决于:信息增益(ID3)和信息增益率(C4.5)。
看到的有赞话:
“这个算法便是建立在上述所介绍的奥卡姆剃刀的基础上:越是小型的决策树越优于大的决策树(be simple简单理论)。”
正文:
参考资料:
1.决策树C4.5分类算法的C++实现(真心觉得这个不错,有算法分析,也有实现。学好一个算法的关键:实践)