本文详细介绍了决策树的训练过程，包括最优划分属性的选择、处理连续和缺失值的方法，以及剪枝操作的预剪枝和后剪枝策略。此外，还探讨了多变量决策树和CART树在分类和回归中的应用。最后，列举了一些常见的决策树面试问题，如特征尺度变化的影响和决策树的损失函数。
决策树
决策树是最符合人类思考模式，最容易被理解和解释的模型之一，所以在一些需要可解释性的场景下经常使用，其训练过程相比其他机器学习算法也更加通俗易懂
训练过程
- 初始情况下生成一个根节点，所有的数据都在这一个节点之内。
- 寻找一个最能区分开不同类样本的最优划分属性，按照样本在该属性上取值的不同，分配到不同的下一级的子节点上。
- 如果某个节点上没有了样本或者可用来划分的属性或者样本都属于同一个类，则停止生成下一级节点，否则继续2中步骤生成更深的决策树。
- 每个叶节点被标记为该节点样本最多的那个类别，预测新样本时，从根节点开始判断新样本的各个属性值，最后落到的叶节点的类别就是预测得出的新样本类别
最优划分属性
最优划分属性存在一个发展历史，也是一些经典决策树算法的提出历史。
如最开始的ID3决策树，利用划分前后的信息增益作为标准选择最优划分属性。
其中Ent为信息熵，Gain即为原节点不划分时的信息熵减去减去划分后节点带上样本个数权重的信息熵之和。
但是上述方法存在天生偏好，如果某个属性取值本来就很多，那么生成很多节点，节点的纯度就会比较高就特别容易被选取为划分属性。<
最低0.47元/天 解锁文章
1348
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
