本文详细介绍了决策树的学习过程，包括ID3、C4.5和CART算法。决策树是一种用于分类和回归的模型，通过损失函数最小化构建。特征选择涉及信息增益、信息增益率和基尼指数。C4.5改进了ID3，考虑了连续值和缺失值，而CART则适用于分类和回归，采用基尼指数。决策树的剪枝策略通过正则化参数实现，以提高泛化能力。
决策树，从名字上看，就知道其模型的结构为树结构，决策树既可以用于分类，也可以用于回归之中。在分类问题中，我们可以认为其是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。在学习过程中，利用训练数据和损失函数最小化的原则来构建决策树模型，在分类过程，利用模型对新数据进行分类。直接构建模型，说明决策树是一个判别模型。在学习过程，决策树有主要的三个步骤：特征选择，决策树的生成，决策树的修剪。根据三个步骤的不同，出现了三种决策树的算法：ID3,C4,5,CART.
决策树模型是树结构，树中存在二种结点，一种是分支结点，对于分支结点，代表了特征或属性，另一种是叶子结点，对于叶子结点，代表了类别。分支结点代表了属性对于特征空间的划分。决策树与if-then规则紧密联系，对于从根结点到叶节点的一条路径对应一条规则。决策树学习到的模型其实也可以转变为给定特征条件下
3400
1674
1144
2944
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
