决策树 随机森林

分类和回归都能做

如何选择根节点：

随着树深度增加，熵entropy降低的越快越好==>>高度最矮的决策树（高度太高时，过拟合）

 

自身的熵 entropy   :(什么都没做时)

 

选取outlook为根节点时:

 

 

 

 

 

 

 

 

 

 

https://blog.csdn.net/Dby_freedom/article/details/82051751?utm_source=blogxgwz0

 

C4.5：     信息增益/自身的entropy

 

 

剪枝：

 

随机森林：

构造出多棵决策树，共同做决策，每棵树可单独做，结果是统一得出的

随机性：

1.数据的随机选择

bootstraping：有放回采样

Bagging：有放回采样n个样本一共建立分类器

2.特征选择的随机选择