决策树

例子：假设有一个公司想要招聘机器学习算法工程师，他们招聘过程中很有可能采用这样一个流程

如下

这样的过程形成了树的结构

这棵树的叶子节点的位置，其实就是我们最终做出的决策

这个决策就是对于输入相当于应聘者的信息进行了分类

这样的过程就是决策树

有计算机领域的树结构的所有性质

包括节点，根节点，包括叶子节点和深度

这里的深度为3，最多通过三次判断就可以分类

我们在每一个节点决策的时候判断的属性可以用Y和N回答

实际上我们真实的数据很多都是具体数值

那么对于具体数值我们决策树怎么表征的呢？

我们保留后两个特征，就可以可视化了

我们进行分类（决策树）

max_depth决策树深度

criterion=“entropy”（entropy就是熵的意思）

这样我们就完成了模型训练

我们绘制图形

我们得到了这个图象

每一个特征都是一个实数

我们分析一下这张图

就得到这个决策树

观察他我们发现

1.我们决策树是非参数算法

2.可以解决分类问题

3.天然可以解决多分类问题

4.可以解决回归问题

我们可以用最终落在叶子节点中样本数据的平均值来当做回归问题的预测值，就解决回归问题

5.非常好的可解释性

我们有以下几个问题

1.每个节点在哪个维度做划分？

现在只有两个维度x和y我们数据复杂起来可能有成百上千的维度

2.某维度在哪个值上划分？

这个阈值怎么确定呢？