吴恩达机器学习笔记 二十九 树的增强 XGBoost 极端梯度提升 什么时候使用决策树 决策树和神经网络的比较

增强树：和随机森林类似，但再抽取时每个样本被抽到的概率不是相同的，而是让算法更容易选到使之前训练的树错误分类的样本。这种方式被称为刻意练习(deliberate practice)，相当于把做的不好的部分再拿出来练习一遍。

XGBoost（extreme Gradient Boosting，极端梯度提升） 

1. 一种增强树的开源实现

2. 实施起来快

3. 有一套很好的关于分裂和停止分裂的标准

4. 内置正则化来防止过拟合

5. 在机器学习比赛中赢得很多

用 XGBoost 解决分类和回归问题的代码

决策树和神经网络的比较

决策树（包括树集合）

1. 决策树更适合结构化的数据（类似表格之类的） ；

2. 不建议在非结构化的数据（如图像、音频、文本）上使用决策树；

3. 决策树训练起来很快

4. 一个小的决策树可以人力解释

神经网络

1. 神经网络适用于所有类型的数据，包括结构化的和非结构化的

2. 可能比决策树慢

3. 神经网络可以更方便地连接起来组成一个更大的模型