weixin_48546054的博客

原创 机器学习-决策树

决策树是一种基本的分类和回归的机器学习方法，其模型呈现树形结构。在分类问题中，可以认为是定义在特征空间与类空间上的条件概率分布。训练时，以最小化损失函数为原则建立决策树。分类时，以根节点到叶子节点的路径所形成的规则进行匹配分类，其中路径上的内部节点的特征对应这规则的条件。决策树的训练一般包括特征选择、树生成以及树剪枝，常见的算法有ID3、C4.5和CART。决策树的生成只考虑局部最优，决策树的剪枝考虑全局最优。.........