day13--决策树与随机森林

1.决策树：既可以做分类，又可以做回归。
2.决策树做分类的两个阶段：
（1）训练阶段：从给定的训练数据集DB，构造出一棵决策树。class=DecisionTree(DB)
（2）分类阶段：从根开始，按照决策树的分类属性逐层次往下划分，直到叶节点，获得概念（决策、分类）结果。
3.熵是指一个集合内的混乱程度，越混乱，熵越大。
4.构造决策树的基本思想是随着深度的增加，节点的熵迅速降低，熵降低的速度越快越好，这样我们有望得到一棵高度最矮的决策树。信息增益值越大越好，谁的信息增益值越高，谁就当根节点。
ID3:信息增益
C4.5:信息增益率
CART:Gini系数
5.随机森林的两重随机性：
（1）在样本的选择上，有放回的抽样，不是取所有样本，而是有比例的随机抽取部分样本。
（2）在特征的选择上，具有随机性。

树模型参数:
1.criterion gini or entropy Gini系数和熵
2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候）
3.max_features None（所有），log2，sqrt，N 特征小于50的时候一般使用所有的
4.max_depth 数据少或者特征少的时候可以不管这个值，如果模型样本量多，特征也多的情况下，可以尝试限制下
5.min_samples_split 如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。
6.min_samples_leaf 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝，如果样本量不大，不需要管这个值，大些如10W可是尝试下5
7.min_weight_fraction_leaf 这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。
8.max_leaf_nodes 通过限制最大叶子节点数，可以防止过拟合，默认是"None”，即不限制最大的叶子节点数。如果加了限制，算法会建立在最大叶子节点数内最优的决策树。如果特征不多，可以不考虑这个值，但是如果特征分成多的话，可以加以限制具体的值可以通过交叉验证得到。
9.class_weight 指定样本各类别的的权重，主要是为了防止训练集某些类别的样本过多导致训练的决策树过于偏向这些类别。这里可以自己指定各个样本的权重如果使用“balanced”，则算法会自己计算权重，样本量少的类别所对应的样本权重会高。
10.min_impurity_split 这个值限制了决策树的增长，如果某节点的不纯度(基尼系数，信息增益，均方差，绝对差)小于这个阈值则该节点不再生成子节点。即为叶子节点 。
n_estimators:要建立树的个数