算法模型——决策树

决策树属于监督学习，是一种预测模型。

1. 概念

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。

决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。

树模型和线性模型有什么区别呢？最重要的是，树形模型是一个一个特征进行处理，线性模型是所有特征给予权重相加得到一个新的值。

决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而决策树是对每一个特征做一个划分。另外逻辑回归只能找到线性分割（输入特征x与logit之间是线性的，除非对x进行多维映射），而决策树可以找到非线性分割。

而树形模型更加接近人的思维方式，可以产生可视化的分类规则，产生的模型具有可解释性（可以抽取规则）。树模型拟合出来的函数其实是分区间的阶梯函数。

决策树学习：采用自顶向下的递归的方法，基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处熵值为0（叶节点中的实例都属于一类）。

2. 基础理论

1. 信息熵

信息熵H(X)、联合熵H(X,Y)、条件熵H(X|Y)、互信息I(X,Y)之间关系如图示：

2. 算法思想

基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶子节点中的实例都属于同一类。例根据多个属性来判断瓜属于好瓜还是坏瓜的结论，图示如下：

3. 决策树 ID3算法

使用信息增益作为不纯度，核心思想是以信息增益度量属性选择，选择分裂后的信息增益最大的，也就是熵在分裂前后差值最大的属性进行分裂。

根据log(x)的函数可知，p值越小，熵越大，所以当分组完全是会出现p=0此时熵最大，概率为0说明已经最纯了。