本文介绍了决策树学习的基本概念，包括特征选择、决策树的生成和剪枝。特征选择依据信息增益或信息增益比，决策树生成涉及ID3和C4.5算法，C4.5解决了ID3处理连续数据和缺失值的问题。决策树剪枝通过损失函数最小化降低模型复杂度。CART算法作为决策树的一种，支持分类和回归任务，采用二元切分法，更适用于处理连续型数据。
（注：主要是一些简单的概念，不涉及公式列举与推导。）
一、决策树学习算法
1、特征选择；2、决策树的生成；3、决策树的剪枝；
二、特征选择：
划分数据集的最大原则是：
将无序的数据变得更加有序。而特征选择的准则是信息增益或者信息增益比。
信息增益：
涉及到“香农熵”，简称“熵”的概念，在信息论与概率统计当中，熵是表示随机变量不确定性的度量。换句话说，就是表示信息的混乱程度，熵越大，信息就越混乱越无序，也可以说随机变量的不确定性也越大；熵越小，信息就越有序，随机变量的不确定性就越小，越容易确定。
信息增益表示的是得知特征X的信息而使得类Y的信息的不确定性减少的程度。
信息增益比：
信息增益来划分数据集的特征，存在偏向选取值较多的特征的问题。利用信息增益比可以对这一问题进行校正
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
