树模型
决策树：从根节点开始一步步走到叶子节点（决策）
所有的数据最终都会落到叶子节点，即可以做分类也可以做回归
树的组成
根节点：第一个选择点
非叶子节点与分支：中间过程
叶子节点：最终决策结果
决策树的训练与测试
训练阶段：从给定的训练集造出来一棵树（从跟节点开始选择特征，如何进行特征切分）
测试阶段：根据构造出来的树模型从上到下去走一遍就好了
一旦造好了决策树，那么分类或预测任务就很简单了，只需要走一遍就可以了，那么难点就在于如何构造出来一棵树，这就没那么容易了，需要考虑的问题还有很多的。
如何切分特征（节点）
通过一种衡量标准，来计算通过不同特征进行分支选择后的分类情况，找出来最好的那个当成根节点，以此类推。
衡量标准—熵
熵：熵是表示随机变量不确定性的度量（解释：说白了就物体内部的混乱程度，比如杂货超市什么都有，就很混乱，专门店里面只有一个牌子就很稳定）
公式： H ( X ) = − ∑ p i ∗ ㏒ 2 p i ( i = 1 , 2 , 3 ⋅ ⋅ ⋅ ) H(X)=-\sum p_i*㏒_2p_i (i=1,2,3···) H(X)=−∑pi∗㏒2pi(i=1,2,3⋅⋅⋅)
eg：
以下有两个集合
A：{1,1,1,1,1,1,2,2}
B：{1,2,3,4,5,6,7,8}
显然A集合的熵要低，因为A里面只有两种类别，相对稳定一些，而B类别太多了，熵就会大很多
扫一扫
539
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
