决策树

决策树(Decision Tree)
1.决策树学习采用的是自顶向下的递归方法。
2.其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零。
3.此时每个叶节点中的实例都属于同一类。
4.有监督学习
关于决策树要了解的：
决策树学习的目标：根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确的分类。
决策树学习的本质：从训练集中归纳出一组分类规则，或者说是由训练数据集估计条件概率模型。
决策树学习的损失函数：正则化的极大似然函数
决策树学习的测试：最小化损失函数
决策树学习的目标：在损失函数的意义下，选择最优决策树的问题。

决策树学习的生成算法
建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有一下三种算法
 ID3
 C4.5
 CART
三种方法的对比
ID3的缺点，倾向于选择水平数量较多的变量，可能导致训练得到一个庞大且深度浅的树；另外输入变量必须是分类变量（连续变量必须离散化）；最后无法处理空值。
C4.5选择了信息增益率替代信息增益。
CART以基尼系数替代熵；最小化不纯度而不是最大化信息增益。

熵定义为信息的期望值，如果待分类的事物可能划分在多个类之中，则符号x i 的信息定义为：