随机森林和决策树区别_机器学习算法：决策树、随机森林、k-means

一、决策树

1、原理：

决策数是非常常用的算法，算法原理比较容易理解，通过决策节点的条件进行判断，通过决策节点来判断走向，满足条件进入到下一个节点，决策树需要搜索到叶子节点才结束。它是一个预测模型，用于解决二分类问题。例如下图：

决策树举例图

2、优化方法：

如何选择决策节点的顺序，方法是怎么样的？

每个决策节点可以有多种选择，比如上图中，在第一层除了“是否取健身房”我们还可以选择“是否有好看的电影”，那么我们应该按照什么样的规则来选择，让我们的预测结果更准确呢？选择的方法有很多，这里老师介绍了一种方法，优先选择增益信息最大的决策点来生产决策树，但它不一定是全局最优解，因为没办法证明。

什么是信息增益？

信息增益=父节点熵-子节点加权熵（条件熵）

什么是熵、条件熵？

常用的决策树算法有ID3, C4.5和C5.0，生成树算法使用基于度量熵。这一度量是基于信息学理论中熵的概念。

熵：是一个实数值，范围是0-1之间，代表不确定性或混乱程度的指标