python 决策树_使用python+sklearn实现决策树回归

最新推荐文章于 2022-08-06 22:23:54 发布

weixin_39966602

最新推荐文章于 2022-08-06 22:23:54 发布

阅读量1.3k

点赞数

文章标签： python 决策树 python决策树 python拟合曲线 sklearn 决策树决策树 python 决策树python

本文链接：https://blog.csdn.net/weixin_39966602/article/details/111293442

版权

本文介绍如何使用Python的sklearn库构建决策树回归模型，通过实例展示决策树在拟合带噪声正弦曲线上的应用。当决策树最大深度设置过高时，可能导致过拟合。作者提供了一个脚本的运行时间和内存使用情况，并邀请读者加入相关学习群深入学习机器学习算法。

摘要由CSDN通过智能技术生成

决策树用于拟合带有附加噪声观测值的正弦曲线，因此，它学习了近似正弦曲线的局部线性回归。

如下图我们可以看到，如果树的最大深度(由max_depth 参数控制)设置得太高，则决策树将学习训练数据中过于精细的细节，并从噪声中学习，会过拟合。

print(__doc__)# 导入必要的模块和库 import numpy as np from sklearn.tree import DecisionTreeRegressor import matplotlib.pyplot as plt# 创建一个随机数据集 rng = np.random.RandomState(1) X = np.sort(5 * rng.rand(80, 1), axis=0) y = np.sin(X).ravel()y[::5] += 3 * (0.5 - rng.rand(16))# 拟合回归模型 regr_1 = DecisionTreeRegressor(max_depth=2) regr_2 = DecisionTreeRegressor(max_depth=5) regr_1.fit(X, y) regr_2.fit(X, y)# 预测 X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis] y_1 = regr_1.predict(X_test) y_2 = regr_2.predict(X_test)# 绘制结果 plt.figure() plt.scatter(X, y, s=20, edgecolor="black", c="darkorange", label="data") plt.plot(X_test, y_1, color="cornflowerblue", label="max_depth=2", linewidth=2) plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2) plt.xlabel("data") plt.ylabel("target") plt.title("Decision Tree Regression") plt.legend() plt.show()