决策树

决策树是一种简单，决策过程清晰的白盒模型，优势在于训练前不用对数据进行归一化、中心化，决策树有ID3 (Iterative Dichotomiser 3)、C4.5、C5.0、CART (Classification and Regression Trees)共4种常见的构建方式，sklearn用的CART实现，以下介绍树节点分裂的一些标准：

为基尼系数， 是第i个节点上，类别为k的训练样本占比。以下为信息熵：

 

基尼不纯度倾向于快速分类出最常见的类型，而信息熵产生的树更平衡。

分类决策树在每个节点会选择能将代价函数降到最低的特征，作为分叉的标准，因每种树构建方法代价函数不一样，以下先列举CART的代价函数（基于基尼不纯度）：

是左子集的样本数量，w是指单个特征， 是其阈值，特征和阈值的确认方式即最小化代价函数。So，如何找到这个属性和这个属性的阈值使得代价函数最小呢？这个答案让人很沮丧，就是挨个儿试，有多少个属性就要试多少个属性，每个属性有多少个阈值（分界线，注意！如果属性是连续值，则可以取两个值间的平均值作为分界线），那在这个属性上就得试多少次（没错很无脑，而且很容易地就能想到，如果维数很大，且分界线很多，就得试到天荒地老，所以我渐渐开始相信极端树了）。

决策树的分叉过程一直要进行到完美地分完所有训练样本才结束，可想而知，这是明显的过拟合。以下首先介绍一种最重要的防止过拟合方法-剪枝，再介绍sklearn里一些防止过拟合的超参数。

首先是剪枝（之后补充）。

sklearn里有以下超参数在生成决策树的过程中来限制其生长：

1. min_samples_split：分叉前节点必须有的最小样本；

2. min_samples_leaf：叶节点必须有的最小样本；

3. min_weight_fraction_leaf：叶节点必须有的最小样本占总体样本比例；

4. max_leaf_nodes：最大叶节点数量；

5. max_features：分裂每个节点评估的最大特征数量。