机器学习 — 决策树

机器学习 — 决策树

一、概念

• 决策树：
  决策树属于机器学习中的一种监管学习方法，是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。如下图：
  

二、算法

决策树的生成算法有ID3, C4.5和C5.0等。

• C4.5：
  C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：

  • 用 “增益率” 来选择最优划分属性，克服了用信息增益选择属性；
  • 在树构造过程中进行剪枝；
  • 能够完成对连续属性的离散化处理；

• CART