【啃西瓜】四、决策树

决策树，顾名思义是树形结构。根据数据结构的知识，一棵树可分为：根节点、内部结点和叶子节点以及从根节点到叶子结点的路径。

决策树中，根节点对应训练样本集。内部结点对应属性判别。叶子结点对应判定结果。

在生成一棵树的过程，关键是<如何选择一个属性，根据这个属性进行产生分支>。选择的标准有：信息增益、增益率、基尼指数。

训练一个模型，过拟合<不可避免>。如何缓解过拟合现象呢？剪枝。过拟合就是模型把训练样本学得太好了，把训练集中特殊性质都学了，导致模型泛化能力差。决策中，模型的分支过多就容易导致过拟合。怎么办呢？可以使用验证集。在验证集上的，删掉结点A后的子模型的性能，如果比没删除的模型要好，那就把这个结点剪掉。

针对属性取值为连续值的情况。应用连续值离散化技术，之后就可以使用先前的离散值情况下的决策树方法。

多变量决策树是单变量决策树的一种优化。

【声明】原创，转载，请表明出处。