基于球磨机数据上GBDT与SVM回归效果对比

GBDT（梯度迭代决策树）是一种基于决策回归树的Boosting模型，其核心思想是将提升过程建立在对“之前残差的负梯度表示”的回归拟合上，通过不断的迭代实现降低偏差的目的。这里我们采用sklearn.ensemble.GradientBoostingClassifier来实现GBDT分类器。

#-*- coding:utf-8 -*-
from sklearn.decomposition import PCA
from sklearn import svm
from sklearn.ensemble import GradientBoostingRegressor
import numpy as np
import scipy.io as sio
import matplotlib.pyplot as plt
data_x=sio.loadmat(u'F:/球磨机数据/对比实验/1_data/train_x.mat')
data_y=sio.loadmat(u'F:/球磨机数据/对比实验/1_data/train_ctly.mat')
train_x=np.array(data_x['train_x'])
train_y=np.array(data_y['train_y']).ravel()
test_x=sio.loadmat(u'F:/球磨机数据/对比实验/1_data/test_x.mat')['test_x']
test_y=np.array(sio.loadmat(u'F:/球磨机数据/对比实验/1_data/test_ctly.mat')['test_y']).ravel()
''' 训练PCA模型并降维，使累计方差贡献度大于0.9'''
pca=PCA(n_components=0.9,copy=True)
pca.fit(train_x)
newtrain_x=pca.transform(train_x)
newtest_x=pca.transform(test_x)
'''训练梯度提升决策树模型'''
gbdt=GradientBoostingRegressor(
    loss='ls',
    learning_rate=0.1,
    n_estimators=100,
    max_depth=5,
    min_samples_split=2,
    min_samples_leaf=1,
)
gbdt.fit(newtrain_x,train_y)
'''训练svm回归模型'''
clf=svm.SVR(kernel='rbf', C=1e3, gamma=0.1)
clf.fit(newtrain_x,train_y)
'''gbdt与svr在测试集的效果'''
plt.figure()
plt.plot(range(len(test_y)),test_y,'b',label="test")
plt.plot(range(len(test_y)),gbdt.predict(newtest_x),'r',label="gbdt_test")
plt.plot(range(len(test_y)),clf.predict(newtest_x),'g',label="svr_test")
plt.show()

显示结果如下：（蓝色线为测试集，红色线为gbdt在训练集上的拟合效果，同理绿色为SVM回归拟合效果）