机器学习 -- 决策树（Ⅲ信息增益）

一.定义

信息增益（Information Gain）的计算公式其实就是父节点的信息熵与其下所有子节点总信息熵之差。

二.计算

假设离散属性a有V个可能的取值{a1,...,av}，若使用a对样本数据集D进行划分，则会产生V个分支节点，其中第v个分支节点包含了D中所有在属性a上取值为av的样本，记为Dv。则我们可根据信息熵的计算公式计算出Dv的信息熵，再考虑到不同的分支节点所包含的样本数不同，给分支节点赋予权重|Dv|/|D|。

计算公式：

三.实例

参考决策树构建实例中的信息增益计算：机器学习 -- 决策树（Ⅳ决策树构造实例）。

四.数据集最佳切分函数

划分数据集的最大准则是选择最大信息增益（信息下降最快的方向）。