机器学习：6决策树

ipynb文件见：https://github.com/824024445/Machine-learning-notes/blob/master/6决策树.ipynb
《Sklearn与TensorFlow机器学习实用指南》学习笔记

决策树和支持向量机一样， 决策树是一种多功能机器学习算法， 即可以执行分类任务也可以执行回归任务。
决策树也是随机森林的基本组成部分，而随机森林是当今最强大的机器学习算法之一。
本章会同上一节支持向量机一样，先讲述决策树用于分类，然后讲述通过使用 CART 算法，使得决策树执行回归任务

一、决策树分类

仍旧以鸢尾花数据为例

1.1 实现决策树分类

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

iris = load_iris()
X = iris["data"][:, 2:] # 仍旧只取长度和宽度两个特征
y = iris["target"]

tree_clf = DecisionTreeClassifier(max_depth=