西瓜书第四章随记

第四章
1.算法原理 2.ID3决策树 3.C4.5决策树 4.CART决策树
逻辑角度，IF ELSE 语句的组合
几何角度，根据某种准测划分特征空间
最终，越来越纯【将样本划分】
自信息 ；信息熵就是自信息的期望值：度量随机变量X的不确定性
信息熵所代表的不确定性可以理解为集合内样本的纯度。
条件熵：已知X后Y的不确定性
信息增益：在已知属性的取值后y的不确定性减少的量，也即纯度的提升
ID3决策树：以信息增益为准则【对可能取值数目较多的属性有所偏好】
C4.5决策树：以增益率为准则【对可能取值较小的属性有偏好】，最终采用启发式，先选信息增益高于平均水平的属性，然后从中选择增益率最高的。
CART决策树：【 基尼值：从D中抽取两个样本，其类别标记不一致的概率。基尼值越小，碰到异类的概率越小，纯度自然就越高。】
选择基尼指数最小的属性作为最优划分属性。实际构造利用二叉树进行，将数据集分为两部分。