机器学习之决策树

树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而决策树是对每一个特征做一个划分。另外逻辑回归只能找到线性分割（输入特征x与logit之间是线性的，除非对x进行多维映射），而决策树可以找到非线性分割。
三个步骤：特征选择，决策树的生成和决策树的修剪
随机变量X的熵的表达式如下：H(X)=−∑i=1npilogp
这里给出两个变量X和Y的联合熵表达式：H(X,Y)=−∑i=1np(xi,yi)logp(xi,yi)
具体算法过程大概：　　　　
输入的是m个样本，样本输出集合为D，每个样本有n个离散特征，特征集合即为A，输出为决策树T。　　　　
算法的过程为：　　　　
1)初始化信息增益的阈值ϵϵ　　　　
2）判断样本是否为同一类输出DiDi，如果是则返回单节点树T。标记类别为DiDi　　　　
3) 判断特征是否为空，如果是则返回单节点树T，标记类别为样本中输出类别D实例数最多的类别。　　　　
4）计算A中的各个特征（一共n个）对输出D的信息增益，选择信息增益最大的特征AgAg　　　　
5) 如果AgAg的信息增益小于阈值ϵϵ，则返回单节点树T，标记类别为样本中输出类别D实例数最多的类别。　　　　
6）否则，按特征AgAg的不同取值AgiAgi将对应的样本输出D分成不同的类别DiDi。每个类别产生一个子节点。对应特征值为AgiAgi。返回增加了节点的数T。　　　　
7）对于所有的子节点，令D=Di,A=A−{Ag}D=Di,A=A−{Ag}递归调用2-6步，得到子树TiTi并返回。