决策树概述

决策树

决策树是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中表示基于特征对实例进行分类的过程。可以认为是if-then规则的集合。
它的优点是模型具有可读性，分类速度快。缺点是容易过拟合。
决策树的学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。

决策树的构造

目标：决策树的目标就是从数据集中归纳出一组分类规则，使数据集中的所有样本都能被划分到正确的类别。就是由数据集估计的一个条件概率模型。
损失函数：通常是正则化的极大似然函数
策略：是以损失函数为目标函数的最小化。
构造：首先为根节点选择一个最有特征对数据集进行划分，然后分别对其子节点进行最优划分，即每一步求局部最优解，直至所有样本都被正确地分类，生成对应的叶子结点，最后所有样本应都被分到叶子结点上。
下图是一个简单的示例：

通常数据集中都有很多特征，在每个节点划分时选择最优的特征，怎样才算最优的特征呢？这就是决策树中最核心的特征选择。

特征选择

特征选择在于选取对数据集具有分类能力的特征。
1.信息增益
信息熵：是信息的期望值，表示随机变量的不确定性的度量
条件熵：表示在已知随机变量X的条件下随机变量Y的不确定性
信息增益表示用特征A对样本集合进行划分时不确定性的减少程度
（具体计算方法参考李航的统计学习方法）
2.信息增