[机器学习算法]决策树

我的短板呀，慢慢积累慢慢攒，结合已有的知识，琢磨琢磨并总结给出自己的理解
类型：有监督学习
决策树目标：根据 training data 学习出一棵合理的决策树，使它能够对实例进行正确的分类， 测试样本通过这棵决策树得到分类结果
学习的步骤：
1. 特征选择, 就是决定用哪个特征来划分特征空间
2. 决策树的生成
3. 决策树的修剪。

节点的分裂，一般当一个节点所代表的属性无法给出判断时，则选择将这一节点分成2个子节点（如不是二叉树的情况会分成n个子节点）
阈值的选择，选择适当的阈值使得分类错误率最小 （Training Error）
ID3:
在划分数据集前后信息发生的变化称为信息增益，获得信息增益最高的特征就是最好的选择，所以必须先学习如何计算信息增益

参考文献：
https://blog.csdn.net/jiaoyangwm/article/details/79525237
https://www.cnblogs.com/bentuwuying/p/6638016.html
https://blog.csdn.net/HerosOfEarth/article/details/52347820