【sklearn第十五讲】决策树之回归篇

机器学习训练营——机器学习爱好者的自由交流空间（入群联系qq：2279055353）

回归

使用类DecisionTreeRegressor, 决策树可以应用于回归问题。fit方法取输入数组X, y, 这里的y取浮点值而不是分类的整值。

from sklearn import tree
X = [[0, 0], [2, 2]]
y = [0.5, 2.5]
clf = tree.DecisionTreeRegressor()
clf = clf.fit(X, y)
clf.predict([[1, 1]])

复杂度

通常，构建一棵平衡的二值树的运行时间代价是 $O(n_{samples}{n}_{features}\log n_{samples})$, 查询时间是 $O(\log n_{samples})$. 尽管建树算法试图产生平衡的树，但结果树并不总是平衡的。假设子树维持大致的平衡，在每一个节点的代价包括搜遍 $O(n_{features})$ 到找到提供最大熵减少量的特征。在每个节点的代价 $O(n_{features}{n}_{samples}\log n_{samples})$, 这样，加和所有节点的代价得到整棵树的总的代价是 $O(n_{features}{n}_{samples}^2\log n_{samples})$.

Scikit-learn提供了更加有效的决策树构建执行。一个naive执行是，重新计算类标签直方图（分类问题），或者沿着一个给定的特征，在每个新分割点的均值（回归问题）。在所有相关的样本上预先排序特征，保持一个运行标签计数，将减少每个节点的复杂度到 $O(n_{features}\log n_{samples})$, 这样，整个代价是 $O(n_{samples}{n}_{feat}$