1.导入相应包
import numpy as np
from sklearn.tree import DecisionTreeRegressor
from matplotlib import pyplot as plt
2.准备数据集
rng = np.random.RandomState(1)
X = np.sort(5 * rng.rand(80, 1), axis=0)
#ravel函数将原维数降一维
y = np.sin(X).ravel()
3.绘制图像
plt.figure()
plt.scatter(X, y, s=20, edgecolors='black', c='darkorange', label='data')
绘制图像如下
4.在y中添加噪声
y[::5] += 3 * (0.5 - rng.rand(16))
y[::5]
5.绘制图像
plt.figure()
plt.scatter(X, y, s=20, edgecolors='black', c='darkorange', label='data')
绘制图像如下
6.构造最大深度不同的决策会归树
regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_1.fit(X, y)
regr_2.fit(X, y)
7.生成测试集
#np.newaxis增维函数
X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]
8.分别利用两个函数进行测试
y_1 = regr_1.predict(X_test)
y_2 = regr_2.predict(X_test)
9.结果可视化
plt.figure()
plt.scatter(X, y, s=20, edgecolors="black", c="darkorange", label="data")
plt.plot(X_test, y_1, color="cornflowerblue", label="max_depth=2", linewidth=2)
plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2)
plt.xlabel("data")
plt.xlabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()
绘制图像如下
这里data点表示我们的训练集数据,蓝色线表示我们选择最大深度为2的回归决策树预测出来的决策边界,绿色线表示我们选择最大深度为5的回归决策树预测出来的决策边界,我们可以看到绿色线出现了过拟合现象,他将许多噪声点都加入到了决策边界,此时我们就可以降低最大深度减小过拟合现象。