随机森林和梯度提升树都是集成评估器,它们由许多基评估器组成,而两种集成评估器的训练模式有所不同,前者是独立训练多个基评估器,基于它们结果的平均做出最终评价;后者则在每次训练中有所侧重,目的是降低集成评估器的偏差,最终将多个较弱的基评估器整合成一个强大的集成评估器
数据准备
此次演示用到的数据为一个普通的正弦函数变换,构造如下:
import numpy as np
x = np.linspace(0, 6, 100)
y = np.sin(x) + np.sin(6*x)
评估器的导入、训练与预测
这里调用sklearn库中的三个回归模型,依次为 DecisionTreeRegressor, AdaboostRegressor(以决策树回归器为基评估器), RandomForestRegressor
from sklearn.ensemble import AdaBoostRegressor
from sklearn.tree import