决策树

一.构建决策树：

1.训练
2.分类

二.墒

1.公式：熵

	gini系数  见自己笔记
	附加概念：信息增溢：原始熵与现有熵(小)之差

2.信息增溢率

	ID3：信息增加
	C4.5:信息增益率
	CART：Gini系数
	评价函数：见笔记本

3.决策树剪枝：

	预剪枝
	后剪枝
	存在公式

4.随机森林：

	随机选择：特征样本