机器学习算法之：决策树 (decision trees)

> By joey周琦

概述

• 线性模型一般variance小，bias大；而树模型一般variance大，bias小
• 决策树的优点：具有可读性，分类速度快
• 一般包含三个步骤：
  
  • 特征选择
  • 决策树生成
  • 剪枝
• 决策树定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点分为内部结点和叶结点，内部结点表示一个特征(feature),外部结点表示一个类。
  
  • 决策树可以看为一个if-then规则集合，具有“互斥完备”性质

决策树学习

假设有数据集

$$D= \{(x_1,y_1),(x_2,y_2) ,...(x_N,y_N)\}$$
其中 $x_i = (x_i^1,x_i^2,...x_i^n)$, 为输入特征向量，n为特征的数目.