决策树

//个人学习记录，如有错误请指正

//大部分图片公式来源于《hand on machine learning with scikit-learn and tensorflow》

//部分公式来源于互联网

 

决策树是一种偏向分类的技术，但是它同时也可以用来进行回归。

预测函数

我们都知道二叉树，那决策树实际上就与二叉树类似，我们的模型在形态上是一颗二叉树，树的每个内部节点都会根据个特征对数据集进行划分，例如特征值满足特定标准的进入左子树，不满足的进入右子树，这样从根开始，整个数据集就不断被划分为小数据集，直到叶结点，每个叶结点都会指定一个特定的预测值，这就是所谓的决策树模型，它非常直观，且容易理解。

优化函数

因为我们会在在叶结点上给予特定的预测，所以我们期望被分配到特定叶结点的实例都具有相同的真实值。也就是说，当每一个节点对数据集根据特征值进行划分时，我们希望被划分出来的两部分在被预测值上都尽量“纯净”，这样我们的预测才最有效。因此首先我们需要对