u014458853的专栏

一 决策树介绍决策树是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。可以认为是if-then规则集合。决策树学习通常包含3个步骤：特征选择、决策树生成、决策树剪枝二 决策树学习过程1、特征选择特征选择在于选取对训练数据具有分类能力的特征。特征选择的三个方法（1）信息增益缺点：类别做的特征的信息增益会更大，故会偏向于选择类别较多的特征，伊日惠容易产生过拟合的问题（2）信息增益率在信息增益基础上产生的方法。校正了信息增益.

1. 基础概念（1）  10折交叉验证（10-fold cross-validation）用来测试算法的准确性。常用的测试方法。将数据集分成10份。轮流将其中的9份作为训练数据集，1份作为测试数据，进行试验，每次试验都会得到相应的正确率（或差错率）。10次结果的正确率（或差错率）的平均值作为对算法精度的估计，一般还需要进行多次10折交叉验证，再求平均值，对算法的准确性进行估计。（2）P

在处理分类问题过程中，数据的不平衡分布，往往对分类结果产生比较大的影响。以下是针对二项分类的数据不平衡问题进行分析。1） 可以扩大数据样本？      扩大数据样本是一个容易被忽视的选择。在集合中，一个更大的数据集，就有有可能挖掘出不同的或许更平衡的方面。之后当寻找重复采集的数据样本时，一些小样本类数据的例子可能是有帮助的。2）绩效标准的选择      混淆矩阵：将要预测的数据分到