深度随机森林_决策树与随机森林的学习笔记

一.决策树

决策树是一种树形结构，其中每个内部节点表示一个属性特征上的测试，每个分支代表一个测试输出。

决策树衡量分叉的标准有信息熵或者gini系数，这里主要说信息熵。其关键点在于使用信息增益来寻找最优特征。信息增益I可以理解为在已知一个特征条件下，问题的不确定性会降低多少的量度。公式如下：

优点：

可解释性高，决策树可以看成是一个if-else的可视化的结果；

能处理非线性数据；

不需要做数据的归一化，因为不同属性的数据之间不需要做类似乘法这种运算；

可以用于特征工程，特征选择。

缺点：