决策树在多因子模型中的应用（一）

一、决策树原理说明

日常生活中，我们对于事物的认知都是基于特征的判断与分类，例如，我们要判断一个西瓜是不是好西瓜，通常会进行一系列的判断，如先看它是什么颜色，它敲起来是什么声音。决策树就是采用这样的思想进行甄别。

当有一堆西瓜混在一起，我们要进行好瓜坏瓜区分，就要基于多个特征进行分类决策，过程如下图所示：

这个过程确实就像一棵倒置的树。

• 节点：能够进行分叉的结点（图中方块)
• 叶子节点：没有进行分叉的结点（图中椭圆）

在决策树的每个结点处，根据特征的表现通过某种规则分裂出下一层的叶子节点，终端的叶子节点即为最终的分类结果。也就是说，我们通过一个又一个条件判断，不断的对这堆西瓜进行划分，最终给出好瓜坏瓜的结论。决策树学习的关键就是选择最优划分属性。随着逐层划分，决策树分支结点所包含的样本类别会逐渐趋于一致，决策树算法追求的目标，就是寻找最有效的特征进行划分，即节点分裂时要使得节点分裂后的信息增益（Information Gain）最大，这里列出决策树中判断信息量增减的方法，信息熵（Entropy）和基尼系数（Gini）的计算公式。

t 代表给定的节点

i 代表标签的任意分类，p(i|t)p(i|t) 代表标签分类 i 在节点 t 上所占的比例。

这两个公式就是衡量信息不纯度的指标，可以用来衡量每次决策前后，信息混程度变化的情况。

好了，经过这两个公式和熵、基尼系数、信息增益的概念引入，已经让本篇内容不够亲切了，而且，我们在使用这些机器学习算法的时候，可以进行参数设置，