数据分析 | 信息增益与基尼系数的通俗解释（含实例）

一、 信息增益

关于信息增益，写得非常好非常通俗易懂的文章：
【结合实例】信息增益的计算_怎么计算信息增益-CSDN博客

1. 定义

信息增益是基于信息论的概念，用于度量在给定特征的情况下，数据集的不确定性减少程度。在决策树中，选择能够使得信息增益最大的特征作为划分节点。

2. 计算方法

• 计算数据集的初始信息熵（Entropy）：衡量数据的不确定性程度。
• 根据每个特征的取值对数据集进行划分，计算每个划分的条件熵（Conditional Entropy）。
• 计算每个特征的信息增益，即初始信息熵与条件熵之差。 选择信息增益最大的特征作为划分节点。

信息熵计算公式：
$$H(Y)=-\sum _{i=1}^m{p}_i{\log }_2(p_i)$$
条件熵计算公式：
X给定条件下，Y的条件概率分布的熵对X的数学期望
$$p(X=x_i,Y=y_j)=p_{ij},i=1,2,...,n;j=1,2,...,m$$
$$H(Y|X)=\sum _{x\subset X}p(x)H(Y|X=x)$$
$$H(Y|X)=-\sum _{x\subset X}\sum _{y\subset Y}$$