随机森林信息熵python代码_机器学习--决策树、随机森林讲解(算法+案例)

寻找互联网，少有机器学习浅显易懂之算法讲解、案例等，项目立于这一问题之上，整理一份基本算法讲解+案例于文档，供大家学习之。浅显易懂之文章亦不可以面概全，凡是有不正确或者争议之处，望告知，自当不吝赐教！

GitHub地址(代码加数据)

1.决策树

1.1从LR到决策树

相信大家都做过用LR来进行分类，总结一下LR模型的优缺点：

优点适合需要得到一个分类概率的场景。

实现效率较高。

很好解决线性特征。

缺点当特征空间很大时，逻辑回归的性能不是很好。

不能很好地解决大量多类特征。

对于非线性特征，需要进行转换。

以上就是LR模型的优缺点，没错，决策树的出现就是为理解决LR模型不足的地方，这也是我们为什么要学习决策树的起因了，没有任何一个模型是万能的。

决策树的优点模拟人的直观决策规则。

可以解决非线性特征。

考虑了特征之间的相互作用。

其实用一下图片能更好的了解LR模型和决策树模型算法的根本区别，我们可以思考一下一个决策问题：能否去相亲，一个女孩的母亲要给这个女海详情对象。

image

大家都看得很明白了吧！LR模型是一股脑儿的把所有特征塞入学习，而决策树更像是编程语言中的if-else一样，去做条件判断，这就是根本性的区别。

1.2“树”的成长过程

决策树基于“树”结构进行决策的，这时我们就要面临两个问题 ：“树”怎样长。

这