DataWhale基础算法梳理第三次作业--决策树

【学习任务】

1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）

2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景

3. 回归树原理

4. 决策树防止过拟合手段

【做题】

1、信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）

2、决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景

   三种分类算法都是生成树算法，都由特征选择和决策树生成和决策树剪枝这三个步骤完成，具体的差异在于特征选择时使用的标准不一样，其中ID3使用信息增益，但存在偏向选取值较多的特征的问题；针对ID3的问题，C4.5改用信息增益比来解决；CART分类树则使用基尼系数来进行特征选择。

3、回归树原理

CART决策树既可以做分类，也可以做回归。不同点在于CART回归采用平方误差最小化策略作为目标函数进行训练。

4、决策树防止过拟合手段

主要使用决策树剪枝的方法，具体实现见李航统计学习方法树剪枝。