目录
1.证明信息熵Ent(D)满足:
信息熵定义:
其中,是第k类样本占比例,所以有:且
如果令,那么信息熵Ent(D)可以看作一个n元实值函数:
其中,所以证明Ent(D)的最值就等同于证明下面等式:
的一阶导数:
的二阶导数:
所以我们要优化的函数是一个凸函数,关于如何证明一个函数是凸函数,可以参看:什么是凸函数及如何判断一个函数是否是凸函数
如果s.t.限制条件是一个线性函数且优化函数是一个凸函数,那么我们称这个优化问题为凸优化问题。
凸优化问题比较好解决,只要满足KKT条件的点就是该优化问题的最优解。如果想要证明这个结论,可以查看天燕军,梁治安.最优化基础理论与方法[M].复旦大学出版社,2011.
什么是KKT条件,这个在SVM中会详细讲解。在这里,我们令优化函数的拉格朗日函数一阶偏导等于0,就可以满足KKT条件。
下面运用拉个朗日乘子法,写出该优化问题的拉个朗日函数:
拉格朗日函数分别对求一阶偏导:
所以,该优化问题得到的最优解为:
验证最优解:显然,所以同时满足约束条件:。
即是满足所有约束条件的最优解,是当前最小化问题的最小值,也是的最大值。
所以有:
前面假设n=|y|,所Ent(D)的最大值为。
参考文献:
2.信息增益Gain(D,a)
为什么信息增益会对取值数目较多的属性有所偏好
3.CART算法
CART分类算法
CART回归算法