决策树QA

QA

1. 采⽤信息增益、信息增益率作为决策树⽣⻓策略，有什么区别；

信息增益（ ID3算法 ）

计算使用所有特征划分数据集D，得到多个特征划分数据集D的信息增益，从这些信息增益中选择最大的，因而当前结点的划分特征便是使信息增益最大的划分所使用的特征。
不足：
a)ID3没有考虑连续特征，⽐如⻓度，密度都是连续值，⽆法在ID3运⽤。
b)ID3采⽤信息增益⼤的特征优先建⽴决策树的节点。在相同条件下，取值⽐较多的特征⽐取值少的特征信息增益⼤。
c) ID3算法对于缺失值的情况没有做考虑
d) 没有考虑过拟合的问题

信息增益率（ C4.5算法 ）

是在信息增益的基础之上乘上一个惩罚参数。特征个数较多时，惩罚参数较小；特征个数较少时，惩罚参数较大。
不足：
1)由于决策树算法⾮常容易过拟合，因此对于⽣成的决策树必须要进⾏剪枝。
2)C4.5⽣成的是多叉树，即⼀个⽗节点可以有多个节点。
3)C4.5只能⽤于分类，如果能将决策树⽤于回归的话可以扩⼤它的使⽤范围。
4)C4.5由于使⽤了熵模型，⾥⾯有⼤量的耗时的对数运算,如果是连续值还有⼤量的排序运算。

对比：

采⽤信息增益作为决策树⽣⻓策略的ID3算法不支持连续值处理、缺失值处理、剪枝。
相反，采⽤信息增益作为决策树⽣⻓策略的C4.5算法支持连续值处理、缺失值处理、剪枝。

2. 其他条件⼀致，对样本某变量进⾏单调⾮线性变化，是否会影响决策树⽣⻓，为什么；

不会

3. 随机森林参数有哪些重要的参数，分别的作⽤试什么？

RF框架参数：
n_estimators:对原始数据集进⾏有放回抽样⽣成的⼦数据集个数，即决策树的个数。
bootstrap:是否对样本集进⾏有放回抽样来构建树，True表示是
oob_score:是否采⽤袋外样本来评估模型的好坏，True代表是
RF决策树参数：
max_features:构建决策树最优模型时考虑的最⼤特征数。默认是"auto"
max_depth:决策树最⼤深度。
min_samples_leaf:叶⼦节点含有的最少样本。默认值是1。
min_samples_split:节点可分的最⼩样本数，默认值是2。
max_leaf_nodes:最⼤叶⼦节点数。int设置节点数,None表示对叶⼦节点数没有限制。
min_impurity_decrease:节点划分的最⼩不纯度。
criterion:表示节点的划分标准。不纯度标准参考Gini指数，信息增益标准参考"entrop"
min_samples_leaf:叶⼦节点最⼩的样本权重和。默认是0。

4. 多个模型预测结果做Average融合，模型间具备怎样的特点会取得更好的效果？

模型间的预测误差的关联性越低，效果越好。