决策树
决策树是一种树形结构,其中每个内部节点表示一个属性上的判断,每个分支代表一个判断结果的输出,最后每个叶节点代表一种分类结果,本质是一颗由多个判断节点组成的树。
![在这里插入图片描述](https://img-blog.csdnimg.cn/f0801b883f5544a79c53cac59dbb25df.jpeg#pic_center)
![在这里插入图片描述](https://img-blog.csdnimg.cn/79a60527824d4b6b8a073c151c9df9f4.jpeg#pic_center)
熵
![在这里插入图片描述](https://img-blog.csdnimg.cn/fa4fe421ab9f44608c8b6d1b10dd1e14.jpeg#pic_center)
信息增益
![在这里插入图片描述](https://img-blog.csdnimg.cn/1f80dc282352471a9e0ea66a7e9c25ff.jpeg#pic_center)
增益率
![在这里插入图片描述](https://img-blog.csdnimg.cn/b53e80459ed34952838fe504349bf17d.jpeg#pic_center)
基尼指数
![在这里插入图片描述](https://img-blog.csdnimg.cn/21bf67db3cda42ae8d53b3120f3e57fa.jpeg#pic_center)
决策树剪枝
![在这里插入图片描述](https://img-blog.csdnimg.cn/c61ceacd6ba44e958e2c058085557390.jpeg#pic_center)
常用剪枝方法:
- 预剪枝是指在决策树生成过程中,对每个结点在划分前先进行估计,若当前结点的划分不能带来决策树泛化性能提升,则停止划分并将当前结点标记为叶结点。
- 后剪枝则是先从训练集生成一颗完整的决策树,然后自底向上地对非叶结点进行考察,若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升,则将该子树替换为叶结点。