weixin_45726469的博客

原创 决策树与随机森林

决策树决策树分为两大类：回归树和分类树。分类树是一种非线性有监督的分类模型，即给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。决策树的生成过程就是使用满足划分准则的特征不断将数据集划分为纯度更高、不确定性更小的子集的过程。在集合的划分过程中我们希望集合往最快达到纯度最高的子集合的方向发展。决策树中需要用到几个基本的概念：1、 熵（entropy）熵是表示随机变量的不确定性的度量，不确定性越大，熵越大。2、