【机器学习实战】Ch 6：决策树

训练决策树

Scikit-Learn使用分类和回归树算法来训练决策树
工作原理： 使用单个特征k和阈值tk将训练集分为两个子集， 通过选择（k, tk）最小化成本函数/搜索最纯子集。并重复该过程， 直到到达最大深度或找不到减少不纯度的分割， 停止递归。 其他一些超参数也可以控制停止条件（稍后叙述）

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

iris = load_iris()
X = iris.data[:, 2:]       # petal length and width
y = iris.target

tree_clf = DecisionTreeClassifier(max_depth=2)
tree_clf.fit(X, y)

做出预测和估计概率

tree_clf.predict_proba([[5, 1.5]])
# array([[0.        , 0.90740741, 0.09259259]])

tree_clf.predict([[5, 1.5]])
# array([1])

基尼不纯度或熵

默认使用基尼不纯度进行测量， 但可以将超参数criterion设置为“entropy”选择作为熵作为不纯度的测量方式。

基尼不纯度倾向于从树枝中分裂出最常见的类别，且计算速度略快一些， 而熵倾向于产生更平衡的树。

正则化超参数

决策树是非参数模型：极少对训练数据做出假设， 训练之前没有确定参数的数量。 如果不加限制， 树的结构将跟随训练集变化， 严密拟合， 并且很有可能过拟合。

正则化： 为了避免过拟合， 需要在训练过程中降低决策树的自由度：

max_depth					最大深度，默认None，表示无限制
min_samples_split 			分裂前节点的最小样本数
min_samples_leaf			叶节点必须有的最小样本数量
min_weight_fraction_leaf	与min_samples_leaf一样， 但表现为加权实例总数的占比
max_leaf_nodes				最大叶节点的数量
max_features				分裂每个节点评估的最大特征数量

也可以先不加约束的训练模型，再对不必要的节点进行剪枝（删除）

回归

from sklearn.tree import DecisionTreeRegressor

tree_reg = DecisionTreeRegressor(max_depth=2)
tree_reg.fit(X, y)

与分类树不同， 每个节点预测一个值而不是一个类别； 以最小化MSE的方式拆分训练集而不是以最小化来拆分训练集。