AI时代,机器学习算法成为了研究、应用的热点。当前,最火的两类算法莫过于神经网络算法(CNN、RNN、LSTM等)与树形算法(随机森林、GBDT、XGBoost等),树形算法的基础就是决策树。决策树因其易理解、易构建、速度快的特性,被广泛应用于统计学、数据挖掘、机器学习领域。因此,对决策树的学习,是机器学习之路必不可少的一步。
转载的这篇博客写得很好,看这篇博客即可。
原文链接:Regression Tree 回归树
实战:(1)max_depth=1, max_leaf_nodes=3的情况
from sklearn.tree import DecisionTreeRegressor
import numpy as np
import matplotlib.pyplot as plt
X = np.array(list(range(1,11))).reshape(-1,1)
y = np.array([5.56, 5.70, 5.91, 6.40, 6.80, 7.05, 8.90, 8.70, 9.00, 9.05]).ravel()
model = DecisionTreeRegressor(max_depth=1,max_leaf_nodes=3)
model.fit(X,y)
plt.scatter(X,y,s = 20)
plt.plot(X,model.predict(X),color='green')
参考文章:
李航《统计学习方法》
分类决策树:ID3、C4.5 用于分类的决策树(Decision Tree)-ID3 C4.5
CART代码实战:CART回归树及其实战