银行客户流失预警（三）| GBDT的应用

要介绍GBDT之前，先介绍一个基础成员，决策树。

什么是决策树？

决策树是最简单的机器学习算法，它易于实现，可解释性强，完全符合人类的直观思维，有着广泛的应用。其可作为分类算法，也可用于回归模型。

从名字可知，这是一棵树，它是基于特征构建一颗层层推理的树，主要由根节点，内部结构和叶子节点组成。
 根节点：包含样本的全集
 内部节点点：对应特征属性测试
 叶节点：代表决策的结果

实际预测时，在内部节点使用某一属性值判断，根据判断结果决定进入哪一个分支，直到达到叶子节点，得到分类结果。

决策树学习的三个步骤

1. 特征选择
特征选择决定了首先使用哪些特征做判断，整个决策过程使用哪些特征做判断。
在训练数据集中，每个样本的属性可能有很多个，不同属性的作用有大有小。因而特征选择的作用就是筛选出跟分类结果相关性较高的特征，也就是分类能力较强的特征。

特征选择常用的基准是：信息增益

2. 决策树生成
选择好特征后，就从根节点出发，对节点计算所有特征的信息增益，选择信息增益最大的特征作为节点特征，根据该特征的不同取值建立子节点；对每个子节点使用相同的方式生成新的子节点，直到信息增益很小或者没有特征可以选择为止。

3. 决策树减枝
防止决策树过拟合，主动剪掉一些枝叶降低过拟合风险