决策树笔记汇总

网上关于决策树的博文已经有很多了。我挑选了几篇比较好理解的几篇，作为以后查阅备忘。同时，决策树刚开始学习时，概念比较多，建议博文结合西瓜书一起看，因为有些公式这样写不太理解，但是别的地方换一种写法，就会容易理解很多。
信息熵、信息增益（ID3），信息增益比（C4.5）。参阅下面两篇博文：
https://blog.csdn.net/familyshizhouna/article/details/72551841
https://www.cnblogs.com/muzixi/p/6566803.html
基尼指数（CART）
https://blog.csdn.net/weixin_41609899/article/details/79101532
https://blog.csdn.net/angela_6074/article/details/60964709
顺便说一下。要记住，一个系统越是混乱，那么信息熵越大，基尼指数也越大。所以我们在做差时，总是要差值大的，因为这样我们提升的就更多。
对于基尼指数，我们选择划分后，基尼指数最小的那个划分的属性，这样划分的纯度最高，其实和信息熵差值最大是一个道理。