决策树学习

在第二波人工智能中，主要研究专家系统，决策树在专家系统中被广泛使用。
流行的决策书算法有，ID3、C4.5(由ID3的作者改进而来)、CART（分类回归树，即既可以作分类，也可以做回归），这些算法的建树过程基本相似，都是从根节点开始向下分裂，所不同是选取的分裂特征和阈值的方法有所不同。
选择方法：
ID3：信息增益最大（对标签Y提供信息最多的特征），倾向于选择取值多的特征进行分裂。
C4.5：ID3的改进，信息增益率最大
CART：分类：GINI指数最大
回归：军方误差最小(也就是L2损失最小)
我们希望分裂后的节点所包含样本的类别相同，这样新样本来的时候就可以定位到某个节点，就可以判断为这个节点对应的类别。ID3分裂方式是在所有特征中选取能使信息增益最大的特征来进行分裂。特质选取后，每一个特质值分裂为一个下级节点，该节点就在父节点样本的范围内，拥有所有为该特征值的样本。
信息增益计算方式：
令当前节点的样本集合为D
计算样本标签值为c的概率：$$p(Y=c)={\pi }_c=\frac{1}{\left|\begin{array}{c}D\end{array}\right|}\sum _{i\in D}⨿(y_i=c)$$$其中⨿为示性函数，条件满足函数值为1，不满足为0$