决策树的学习--并且可视化决策树

决策树是一种分类器，在决策树中，每个非树叶节点代表一个属性上的测试，每个分支代表该测试的一个输出，而每个树叶节点存放一个类标号，树的顶端节点为根节点。
在决策树的分类情况中，不需要任何领域知识或者参数设置，因此适合探索式知识发现，并且，其他的分类方法多需要数据归一化处理，但决策树而言，可以不采用数据归一化，直接进行训练，并且决策树是可以进行可视化，看最后的树的形式是怎么样的，这是他的好处。
决策树的坏处在于可能产生过拟合的现象，并且常用的树剪枝的方法并不提供，设置合理的树深以及叶子节点的个数可以避免过拟合的情况；并且可以选择合适的特征，也即可以利用PCA,ICA,Feature selection方法来得到好的特征；可以先确定树深（max_depth）为3的情况下，然后根据实际情况来增加树深；使用min_samples_split或者min_samples_leaf来控制叶子节点中的采样的数目，避免过拟合，很小的数值情况下，容易过拟合，可以先采用5作为初始的值，然后再根据实际情况来进行判断。
在训练数据为：训练集的规模: 1249，训练集中1类的个数:657，训练集中0类的个数:592。此时选用的是缺省时的默认参数。