笔记二：由决策树到孤立森林

一、决策树       

        决策树既可以作为分类算法，也可以作为回归算法，同时，也适合集成学习，譬如随机森林。当我们平时在敲各种if，elif，else的时候，其实已经与用到了决策树的思想，并且，其关键在于，需要考虑哪种条件特征在前，哪种条件在后这样做出的决策过程为优。

        就决策过程的选择而言，目前一共有三种，按先后顺序为：ID3 ====> C4.5 ====> CART，其中，ID3算法与C4.5可支持分类模型，采用了多叉树的树形结构，其特征选择分别为信息增益及信息增益比，CART算法除却分类外，还可作回归，其树形结构为二叉树，采用的特征选择为基尼系数及均方差，除此之外，对于连续值处理，缺失值处理，剪枝，C4.5及CART是可以支持的。

        有一个点需要注意的是，ID3/C4.5/CART 均是由一个特征向量来决定模型的，,在做特征选择的时候都是选择最优的一个特征来做分类决策，但是大多数，分类决策不应该是由某一个特征决定的，而是应该由一组特征决定的。这样决策得到的决策树更加准确。

       另外， 如果样本发生一点点的改动，就会导致树结构的剧烈改变。为此，我们可以通过集成学习来里面的方法，如随机森林来解决。