机器学习—决策树

决策树：

概念：从根节点出发，对需要分类的对象每个属性进行判断，根据判断将对象分配到其子节点。此时每个节点又对应着该属性的一个取值，如此递归进行判断和分配，直至将对象分配到叶子结点。

算法原理：建造根节点，将所有的对象都放到根节点，选择最优特征进行分类，使训练集在当前环境下为最优分类。如果分类最优，则构建叶子结点，否则继续进行分类，构建相应的结点，如此递归，直到所有都被正确分类，或者没有更好的分类方式。

 

决策树学习：

本质从训练集中总结出一组最优分类规则。如果没有最优分类规则，那么需要选择一个与数据集矛盾最小同时具有较好的泛化行。

经过学习避免拟合需要对生产的树进行剪枝，简化树的结构，提高泛化性。

 

特征选择：如果随机选择与特定的一个特征进行分类没有区别，则该特征不具备分类。

准则：信息增益与信息增益比（也叫信息增益率）。