【18】机器学习算法面试八股

331决策树的划分标准是什么

有三种：最大信息增益、最大信息增益率、基尼系数。而这三种不同的划分标准就对应了三种典型决策树：ID3（最大信息增益）、C4.5（最大信息增益率）、CART（基尼系数）。
信息增益：指的是使用某一个属性a进行划分后，所带来的纯度（信息熵用来度量样本集合的纯度）提高的大小。一般而言，信息增益越大，意味着使用属性a来进行划分所获得的“纯度提升”越大。但信息增益对可取值较多的属性有所偏好。
而信息增益率则解决了特征偏好的问题。
但是不论是信息增益还是信息增益率，存在的问题是涉及对数运算，计算量大，为了解决这个问题。可以采用基尼系数作为节点划分的标准。

332ID3和C4.5的区别

最大的区别是划分标准的不同：ID3采用信息增益，而C4.5采用的是信息增益率。
C4.5继承了ID3的优点，并在以下几个方面对ID3算法进行了改进：

1. 用信息增益率来选择属性，克服了用信息增益选择属性是偏向选择去之多的属性的不足
2. 在树的构造过程中进行剪枝
3. 能够对连续的属性进行离散化处理
4. 能够对不完整的数据进行处理

333树模型对离散特征怎么处理的

树模型是要寻找最佳分裂点，对于离散特征，树模型会评估每个离散值的信息增益，将信息增益最大的数值作为分裂点，因此，树模型不需要对离散特征进行事先one-hot处理，否则会使特征维度增大且稀疏，不仅会增加模型的计算量，而且会损失数据的信息量造成模型的效果不佳，以及过拟合的风险。也不需要进行归一化处理。

334决策树出现过拟合的原因及解决办法

原因

1. 在决策树构建的过程中，对决策树的生长没有进行合理的限制（剪枝）；
2. 样本中有一些噪声数据，没有对噪声数据进行有效的剔除；
   解决办法
3. 选择合理的参数进行剪枝，可以分为预剪枝和后剪枝，我们一般采用后剪枝的方法；
4. 利用K-folds交叉验证，将训练集分为K份，然后进行K次交叉验证，每次使用K-1份作为训练样本数据集，另外一份作为测试集；
5. 减少特征，计算每一个特征和响应变量的相关性，常见得为皮尔逊相关系数，将相关性较小的变量剔除；

335如何对决策树进行剪枝？

剪枝是防止决策树过拟合的方法。一棵完全生长的决策树很可能失去泛化能力，因此需要剪枝。
剪枝的策略
剪枝分为预剪枝和后剪枝两种，预剪枝是在构建决策树时抑制它的生长，后剪枝是决策树生长完全后再对叶子节点进行修剪。
预剪枝

1. 设置一个树的最大高度/深度或者为树设置一个最大节点数，达到这个值即停止生长（限制深度）

2. 对每个叶子节点的样本数设置最小值，生长时叶子节点样本数不能小于这个值（限制宽度）

3. 判断每次生长对系统性能是否有增益
   后剪枝

4. 错误率降低剪枝（Reduced-Error Pruning）
   后剪枝错误率降低剪枝的方法比较直观，从下至上遍历所有非叶子节点的子树，