吃瓜教程第四章学习笔记

一、算法原理

通过某种准测，一级一级的判断，将样本越分越纯。

二、ID3决策树

通过信息熵的理念，计算出条件熵，将样本数量抽象成样本概率，从而使得得出的信息熵乘以样本占比抽象为揭示样本纯度的条件熵。将原样本集合的纯度减去分割后所有样本的纯度和，得到纯度提升。将此函数的相反数设为最小化目标函数。

三、C4.5决策树

在ID3决策树的基础上，发现分算法会使得每个趋势里面样本量太少的偏好，为修复此bug，将目标函数除以固有值，防止可能取值个数太少。但有个能带来反作用，使得对于可能取值数目较少的属性有偏好。

为防止以上情况，采用启发式决策：先选出信息增益高于平均水平的属性，然后再从中选择增益率最高的。

四、CART决策树

采取基尼值（从样本合集中随机抽取两个样本，其类别标记不一致的概率）乘以样本占比，构成最小化目标函数。

实际构造算法：

首先对每个属性选择每个可能的取值，将数据集分为和两部分计算基尼指数。

然后选择基尼指数最小的属性及其对应取值作为最优化分属性和最优化分点。

最后重复以上两步，知道满足停止条件。