机器学习之八大算法⑧——决策树(回归树DecisionTreeRegressor)

回归树代码及注释

import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeRegressor  #调用回归树模型

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

X = np.linspace(0,5,400).reshape(400,1)   #在（0，5）产生400个数的数据集X，并排序
y = np.sin(X)    #映射成sin函数

#创建模型
r_tree5 = DecisionTreeRegressor(max_depth=5)
r_tree2 = DecisionTreeRegressor(max_depth=2)

#训练模型
r_tree5.fit(X,y)
r_tree2.fit(X,y)

#求预测值
h2 = r_tree2.predict(X)
h5 = r_tree5.predict(X)

print('max_depths=5准确率：',r_tree5.score(X,y))
print('max_depths=2准确率：',r_tree2.score(X,y))

# 画图
plt.scatter(X,y,label='真实值')
plt.plot(X,h5,c='r',label='预测值')
plt.legend()
plt.show()

效果展示

决策树算法python库实现:

dtr= DecisionTreeRegressor(max_depth=5) #决策树回归器(均方差mse/mae)
dtr= DecisionTreeClassifier(max_depth=5) #决策树分类器(基尼系数或熵)

主要参数：
max_depth: 树最大深度,可选，缺省None，

min_samples_split : 分割内部节点所需最少样本数,可选,缺省2

min_samples_leaf : 成为叶子节点所需最少样本, 可选, 缺省1

max_features : 寻找最佳分割时考虑的特征数目, 可选, 缺省None: float/比例, ‘sqrt’/sqrt(n_features), ‘log2’/log2(n_features)

min_impurity_decrease : 如果节点分割导致不纯度减少超过此值，将进行分割，可选, 缺省0.0

presort : 预排序，加速寻找最佳分割，可选，缺省False, 大数据集降低训练过程, 小训练集或受限深度，可加快训练

random_state: 缺省None; 若int, 随机数产生器seed, 若RandomStates实例, 随机数产生器, 若None, np.random

调用库函数计算：建立模型并计算

dtr.fit(X,y) # 调用库函数决策树算法: 分类器y是整数或string;回归器y是浮点数
dtr.predict(X) # 预测样本类别或回归值，返回shape(n_samples)或(n_samples,n_outputs)
dtr.decision_path(X) #返回决策路径，返回shape = [n_samples, n_nodes]
dtr.score(X, y) #返回预测结果的R^2(1-u/v). u=((y_true - y_pred) ** 2).sum()
v=((y_true - y_true.mean()) ** 2).sum()
dtr.apply(X) # 返回每个样本预测为叶子的索引
dtr.n_features_ # 执行’fit’时的特征数
dtr.n_outputs_ # 执行’fit’时的输出数
dtr.tree_ # 树对象