谈一谈决策树的实现逻辑 信息增益、信息增益率公式

决策树的实现逻辑：

决策树是最简单的机器学习算法，可解释性强，直观易懂的结构，完全符合人们的直观思维，有着广泛的应用。

决策树算法采用树形结构，使用层层推理来实现最终的分类，决策树由下面集中元素组成：

根节点：包含样本的全集

内部节点：对应特征属性测试

叶节点：代表决策的结果

预测时，在树的内部节点处用某一属性值进行判断，根据判断结果决定进入哪个分支节点，直到到达叶节点处，得到分类结果。这是一种基于if-then-else规则的有监督学习算法，决策树的这些规则通过训练得到，而不是人工制定的。

信息增益的公式

信息增益=信息熵-条件熵

其中信息熵：

其中 c_k表示集合D中属于第k类样本的样本子集。

条件熵：

信息增益：

 

信息增益率的公式

信息增益率：