实训小结（7）

**

3.25 决策树学习

**
回归
（x,y） y是连续的：回归问题 y是离散的：分类问题
略

实践应用中最广泛的应用：Logistic回归

CART
(Classification &(And) Regression Tree)
决策树与随机森林
决策树（分类树、回归树）
解决问题：那种切法最优
分类效果的评估：熵（不确定性）
乘机符号变为加和符号：取对数ln
概率大——>熵小
概率低——>熵大

有些特征是没用的
特征选择：信息增益最大（不确定性减少）
特征A和数据集D的互信息最大就选A

当叶节点的熵为0的时候，分裂完成
让熵下降的快的切分

决策树的分裂过程：熵下降的过程（贪心策略）
决策树选择哪个属性作为分类依据（三种算法：ID3、C4.5、CART）

决策树：分的太清，容易发生过拟合的现象
如何避免
边生成边考虑是否可能扩展，剪枝

bootstraping

随机森林：有若干个树组成
可以用在分类，也可以用在回归

从样本集中用Bootstrap采样选出n个样本
从所有属性中随机选择k个属性，选择最佳分割属性作为节点建立CART决策树
重复m次，即建立了m棵CART决策树

为什么随机森林的效果会好？
作者：厚德载物lyh
来源：CSDN
原文：https://blog.csdn.net/u010462995/article/details/70312702
版权声明：本文为博主原创文章，转载请附上博文链接！

问题一：决策树的深度如何确定？（经常用四五层）
深度越深，拟合的曲线越圆滑

问题二：随机森林 n_estimators=？用了多少个决策树
每个决策树的深度是多少
如何确定的

**

3.26 随机森林模型的优点认识

**
什么是随机森林回归？
为什么使用随机森林回归?
（随机森林相对于其他算法的优点有哪些？）

随机森林：
样本是随机：从样本集中用bootstrap采样选出n个样本，
特征的随机：从属性中随机选择k个属性，选择最佳属性作为节点建立CART决策树
重复m次，建立m棵CART决策树

优点：
高度并行化，对于大样本的训练速度快
随机采样，泛化能力强
对缺失的特征不明显

为什么使用随机森林（优点是什么）
学习的过程很快，可以处理大量的数据
一般回归问题都会面临多元共线性的问题，随机森林则可以不用考虑变量的独立性，并且它对离群值不敏感，稳健性好。