从“信息增益”到KL Divergence 和 Cross Entropy
周志华老师在他的西瓜书的第四章,引入了“信息熵”,“信息增益”(information gain)的概念,并用信息增益最大为准则选择划分决策树的属性。周老师并没有对这两个概念进行深入讲解,实际上这两个概念均来源于信息论(Information Theory)领域。
Entropy, actually, is a measure of surprise
西瓜书中对信息熵是这样定义的:
假定当前集合 D 中第
k 个类样本所占比例为 pk , 则 D 的信息熵定义为
Ent(D)=−∑kpklog2pk
事实上,我们可以把 pk 近似看成一个样本是第 k 类的概率,那么信息熵就可以看做是观测到一个样本,所得到的信息的一个期望。
其中 log(1pk) 就表示观测到一个样本,他的类别是 k 的信息。
从上述公式可以看出,观测到一个事件给我们的信息量,跟这个事件发生的概率有关。概率越小,信息量越大。
Information Gain is also called mutual information
西瓜书接下来又定义了information gain: