西瓜书之决策树的一生

最近看西瓜书的决策树这一章，给我看懵了。感觉得自己动手一步一步计算才能理解具体怎么构造的，然后才能写程序。就以书上的西瓜集2.0为例：

1.先搞清两个概念： 信息熵和信息增益

信息熵越小，纯度越高。计算公式如下：

条件熵：

信息增益越大，意味着获得的“纯属提升”越大。因此我们使用信息增益来进行决策树的划分属性选择。

计算过程如下：

插一句题外话，由上图可见手机镜头会让原图发生凹凸变化，所以镜子里的我才是真实的哈哈哈哈哈，其实是因为镜子里的我比相机好看>0<~~~

但是信息增益存在的问题，它对数目较多的属性有所偏好。为了减少这种偏好可能带来的不利影响，
引入增益率的概念：


增益率则是对可取数目较少的属性有偏好，所以先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

2.接下来进行剪枝处理
目的：对付过拟合