西瓜书——决策树（知识点：信息熵的数学含义及推导）

对于决策树，有点像$if...else$语句。最重要的点就是找到合适的属性来划分类别。对于那个用来划分类别的属性要符合一个条件，那就是划分后，集合的纯度提高了。所以我们往往是在一堆属性中，找到一个属性，该属性最能提高集合的纯度。本文将重点解释信息熵的数学含义。

一、信息熵

信息熵$Ent(D)$是用来度量样本集合纯度的最常用指标。
$$Ent(D)=-\sum _{k=1}^{|y|}{p}_k{\log }_2{p}_k$$
（注：D代表当前样本集合，$p_k$代表当前样本中第k类样本所占的比例，|y|代表类别总数。）
西瓜书上直接给出了结论
（1） ${\log }_2|y|\ge Ent(D)\ge 0$
（2）当$Ent(D)$的值越小，则样本的纯度越纯。
那么我们现在开始证明：
这两个结论是一起证明出来的。
对于信息熵的公式，我们发现只有一个自变量$p_k$,所以我们可将信息熵的公式转换一下，变成$$f(x_1,x_2,x_3,\dots ,x_n)=-\sum _{k=1}^n{x}_k{\log }_2{x}_k,0\le x_k\le 1,\sum _{k=1}^n{x}_k=1$$
这样第一个结论就变成了多元函数求最值的问题了。
看到多元函数求最值的问题，我们似乎熟悉又陌生，熟悉因为这是考研数学的题型，陌生是因为考研数学的题型一般只有二元或三元，并且有好多情况是不需要分析的一股脑计算即可。

1.1 最大值求解

$f(x_1,x_2,x_3,\dots ,x_n)$的最大值也就是求${\sum }_{k=1}^{}$