本文深入探讨了决策树中的ID3，C4.5和CART算法，详细解释了信息熵、信息增益、信息增益比和基尼系数等概念，并通过实例展示了特征选择的过程。内容包括算法的计算过程和决策树的构建步骤。
将所学的内容整理出并结合实例推演，若有错误，敬请指教。欢迎讨论哈，机器学习爬坑中
目录
不同算法特征选择依据
信息熵
信息熵（entropy）度量信息不确定性的量化问题。在信息论中，熵是表示随机变量不确定性的度量。熵的取值越大，随机变量的不确定性也越大。单位，比特（bit）
即：
对于样本集合D来说，随机变量X是样本的类别，即，假设样本有k个类别，每个类别的概率是，其中|Ck|表示类别k的样本个数，|D|表示样本总数
则对于样本集合D来说熵（经验熵）为：
信息增益ID3
熵越大，样本的不确定性就越大。因此可以使用划分前后集合熵的差值来衡量使用当前特征对于样本集合D划分效果的好坏。
前提：我们在构建最优的决策树的时候总希望能更快速到达纯度更高的集合。
根据公式：
信息增益 = entroy(前) - entroy(后)
对于数据集D，其熵(entroy(前))是一定的，entroy(后)越小说明使用此特征划分得到的子集的不确定性越小（纯度越高），因此根据公式我们选择使得信息增益g(D,A)最大的特征A来划分当前数据集D。
信息增益比C4.5
信息增益比 = 惩罚参数 * 信息增益
它是信息增益和特征熵的比值。其中的HA(D)，对于样本集合D，将当前特征A作为随机变量（取值是特征A的各个特征值），求得的经验熵。公式为
最低0.47元/天 解锁文章
扫一扫
4296
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
