GBDT(MART) 迭代决策树 实践

最新推荐文章于 2022-04-26 18:59:19 发布
最新推荐文章于 2022-04-26 18:59:19 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 机器学习算法例子 文章标签： gbdt 特征工程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MosBest/article/details/52068568
版权

用GBDT和graphlab实现kaggle比赛 租车量预测

这里我用的是graphlab包，而不是sklearn。借鉴上面的例子，完成仓库优化，但是可能由于库的原因，与上面的例子有一定的出入！！！

数据准备

导入数据

import graphlab
data_day=graphlab.SFrame("nv_cai01_day.csv")

这里写图片描述

整理数据

    a=data_day.column_names()
    a=a[0:5]
    data_day_2=data_day[a] 
    print data_day_2.column_names()
    # 发现结果是['\xc8\xd5\xc6\xda','\xc8\xd5\xb3\xf5\xca\xbc\xbf\xe2\xb4\xe6','\xb5\xb1\xc8\xd5\xc8\xeb\xbf\xe2','\xb5\xb1\xc8\xd5\xb3\xf6\xbf\xe2','\xc8\xd5\xbd\xe1\xca\xf8\xbf\xe2\xb4\xe6']说明中文显示有误，下面进行修改

    data_day_2.rename({'\xc8\xd5\xc6\xda':'data',
     '\xc8\xd5\xb3\xf5\xca\xbc\xbf\xe2\xb4\xe6':'Daily initial inventory',
     '\xb5\xb1\xc8\xd5\xc8\xeb\xbf\xe2':'input',
     '\xb5\xb1\xc8\xd5\xb3\xf6\xbf\xe2':'output',

data_day_2.dtype()# 结果为[str, str, float, float, str]

于是下面把str转化为int

new1=data_day_2['Daily initial inventory']
new4=data_day_2['End of day inventory']  

def str_to_float(data):
    li=[];
    a='';
    for i in data:
        if i[0]=='(':
            a=i.split('.00')[0].split('(')[1]
            a=int(a)
            li.append(a)
        else:
            a=i.split('.00')[0]
            a=int(a)
            li.append(a)
    return li

day1=str_to_float(new1)
day4=str_to_float(new4)
data_day_2.remove_columns(column_names=['Daily initial inventory','End of day inventory'])

data_day_2.add_column(graphlab.SArray(day1),name='Daily initial inventory').add_column(graphlab.SArray(day4),name='End of day inventory')

结果为
这里写图片描述

data_day_2.show()

训练模型

最基本模型

train_data,test_data=data_day_2.random_split(0.8,seed=0)
features=['data','input','Daily initial inventory']

m=graphlab.boosted_trees_regression.create(train_data,target='output',features=features,max_iterations=100)

m.evaluate(test_data)

结果为{'max_error': 1484.4045238494873, 'rmse': 250.960051855327}
这里写图片描述
哎，问题很大啊！！！

进行简单的特征工程 改进模型

我们发现，以天为变量，发现0太多了，稀疏矩阵怎么处理？？？现在还不会，等会了，再考虑！！！可是如果以周来看，情况就好很多！！

import graphlab

data_day=graphlab.SFrame("nv_cai01_week.csv")
a=data_day.column_names()
a=a[0:5]
print a
data_day_2=data_day[a]
print data_day_2
data_day_2.column_names()
data_day_2.rename({'\xd6\xdc\xca\xfd':'data',
 '\xd6\xdc\xb3\xf5\xbf\xe2\xb4\xe6':'Daily initial inventory',
 '\xb5\xb1\xd6\xdc\xc8\xeb\xbf\xe2':'input',
 '\xb5\xb1\xd6\xdc\xb3\xf6\xbf\xe2':'output',
 '\xd6\xdc\xc4\xa9\xbf\xe2\xb4\xe6':'End of day inventory'})
new1=data_day_2['Daily initial inventory']

new4=data_day_2['End of day inventory']  

ef str_to_float(data):
    li=[];
    a='';
    for i in data:
        if i[0]=='(':
            a=i.split('.00')[0].split('(')[1]
            a=int(a)
            li.append(a)
        else:
            a=i.split('.00')[0]
            a=int(a)
            li.append(a)
    return li


day1=str_to_float(new1)
day4=str_to_float(new4)
data_day_2.remove_columns(column_names=['Daily initial inventory','End of day inventory'])
data_day_2.add_column(graphlab.SArray(day1),name='Daily initial inventory').add_column(graphlab.SArray(day4),name='End of day inventory')

得到的原始数据为
这里写图片描述

data_day_2.show()

发现
这里写图片描述

发现离群点比以天 为单位少的多

训练基本模型
train_data,test_data=data_day_2.random_split(0.8,seed=0)
features=['data','input','Daily initial inventory']

m=graphlab.boosted_trees_regression.create(train_data,target='output',features=features,max_iterations=100)

打印出来

import matplotlib.pyplot as plt
predoction=m.predict(test_data)
%matplotlib qt
fir=plt.figure()
a=fir.add_subplot(211)
a.plot(range(len(predoction)),test_data['output'])
a.plot(range(len(predoction)),predoction)

predoction=m.predict(train_data)

b=fir.add_subplot(212)
b.plot(range(len(predoction)),train_data['output'])
b.plot(range(len(predoction)),predoction)

这里写图片描述

下面的是训练集 与 对训练集预测得到的图形，发现 二者几乎完全重合
上面的是测试集 与 对测试集预测得到的图形，发现 有一定的偏差
训练集合预测太好，测试集有大的偏差，说明发生了过拟合现象

m.show()

这里写图片描述
从图中也可以看到，training rmse 很小，而 validation rmse 太大
这也证明了有过拟合现象。

发现validation rmse的值为 1347.167 ,我们的目的就是要削减他。

寻找最好的参数

def parameter_search(training_url, validation_url,params):
    """
    Return the optimal parameters in the given search space.
    The parameter returned has the lowest validation rmse.
    """
    job= graphlab.toolkits.model_parameter_search.create((training_url,validation_url),
                                                graphlab.boosted_trees_regression.create,model_parameters=params)

    # When the job is done, the result is stored in an SFrame
    # The result contains attributes of the models in the search space
    # and the validation error in RMSE. 
    result =job.get_results().sort('validation_rmse', ascending=True)

    # Return the parameters with the lowest validation error. 
    optimal_params = job.get_best_params()
    optimal_rmse = result['validation_rmse'][0]
    print 'Optimal parameters: %s' % str(optimal_params)
    print 'RMSE: %s' % str(optimal_rmse)
    return optimal_params


ntrees = 100
fixed_params = {'features': [features],
        'max_depth': [1, 5,10,15, 20],
        'min_child_weight': [1,5, 10,15, 20],
    'step_size': 0.05,
    'max_iterations': ntrees}

fixed_params['target'] = 'output'
params_log_output = parameter_search(train_data,
                                     test_data,
                                     fixed_params)


params_log_output.pop('target','features')

m_output = graphlab.boosted_trees_regression.create(train_data,
                                           features=features,
                                           target='output',
                                           max_iterations=params_log_output['max_iterations'],
                                            max_depth=params_log_output['max_depth'],
                                            step_size=params_log_output['step_size'],
                                                      min_loss_reduction=params_log_output['min_loss_reduction'],
                                                      min_child_weight=params_log_output['min_child_weight'],
                                                      row_subsample=params_log_output['row_subsample'],
                                                      column_subsample=params_log_output['column_subsample'],
                                           verbose=True)

显示

predoction=m_output.predict(test_data)
%matplotlib qt
fir=plt.figure()
a=fir.add_subplot(211)
a.plot(range(len(predoction)),test_data['output'])
a.plot(range(len(predoction)),predoction)

predoction=m_output.predict(train_data)

b=fir.add_subplot(212)
b.plot(range(len(predoction)),train_data['output'])
b.plot(range(len(predoction)),predoction)

这里写图片描述

这里写图片描述

发现 validation rmse 由 1347.167 减小到了388.0145 ,而 training rmse 变大了

数据清洗，发现有的数据太大，决定删除少部分过火的数据

发现爱那个原始数据有一些离群点，比如再output中，一般数据都达到了几千量级，但是有9 个数据却是0，所以认为这9个数据对模型拟合有很大的影响，则尝试删除这9个数据 和最大值。

data_day_2= data_day_2[data_day_2['output']!= data_day_2['output'].max()]
data_day_2=data_day_2[data_day_2['output']!=0]
# 训练模型
train_data,test_data=data_day_2.random_split(0.8,seed=0)
train_data,valia=train_data.random_split(0.95,seed=0)
features=['data','input','Daily initial inventory']
m2=graphlab.boosted_trees_regression.create(train_data,target='output',features=features,max_iterations=100,validation_set=valia)

# 画图
predoction=m.predict(test_data)
%matplotlib qt
fir=plt.figure()
a=fir.add_subplot(211)
a.plot(range(len(predoction)),test_data['output'])
a.plot(range(len(predoction)),predoction)

predoction=m.predict(train_data)

b=fir.add_subplot(212)
b.plot(range(len(predoction)),train_data['output'])
b.plot(range(len(predoction)),predoction)

m2.show()

这里写图片描述

发现测试集拟合的还可以！！！

丁磊_Ml
关注
专栏目录
机器学习 | Python实现GBDT梯度提升树模型设计
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
01-06 756
机器学习 | Python实现GBDT梯度提升树模型设计
GBDT：梯度提升决策树
Duckie的博客
11-14 285
综述   GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于
GBDT（MART） 迭代决策树入门教程 | 简介(转)
newbei5862的博客
01-29 217
这些天在看XGBoost，为了搞懂XGBoost看了不少资料，为了理解也看了ADAboost、GBDT、LightGBM、CATBoost等，今天看到一篇深入浅出讲解的文章，记录备忘一下 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)
线性回归评价指标
sun91019718的博客
03-08 2597
本文参考饼干Japson《模型之母：线性回归的评价指标》编写 今天，我们学习线性回归算法的评价指标——MSE、RMSE、MAE、R Square。 一、了解线性回归算法的衡量标准 引用饼干Japson的话。已知训练数据样本x、y，找到a和b的值，使∑i=1n(y(i)−ax(i)−b)2\sum_{i=1}^{n} (y^{(i)}-ax^{(i)}-b)^2∑i=1n​(y(i)−ax(i)−b...
回归评价指标：均方误差根（RMSE）和R平方（R2）
热门推荐
JasonZhangOO的博客
08-30 17万+
做回归分析，常用的误差主要有均方误差根（RMSE）和R-平方（R2）。RMSE是预测值与真实值的误差平方根的均值。这种度量方法很流行（Netflix机器学习比赛的评价方法），是一种定量的权衡方法。 ””’ 均方误差根 ”’ 过拟合加入L1正则化和L2正则化，岭回归
[机器学习与scikit-learn-51]：模型评估-图解回归模型的评估指标MSE、MAE、RMSE、R2、RSS与代码示例
文火冰糖（王文兵）的博客
04-26 1万+
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址： 目录 前言： 第1章 残差residual error 1.1 残差的定义 1.2 残差的数学表达式 1.3 残差计算的几何图形 1.4 残差数值的几何图形 1.5 残差分析 1.6 残差的意义： 第2章 平均绝对误差（mean absolute error, MAE）- L1损失 2.1 概述 2.2 MAE的数学表达式 2.3 MAE误差的几何含义 2.4 MAE的函数图
RMSE，R2 ，SSE，MSE的定义
Panpan Wei的博客
03-14 1万+
[模型检验指标] RMSE : 很大可能是因为数据的数值本身很大，比如单位选取之类都会影响它的大小。 R2 : 可以直接表示你用来拟合的模型是否描述你的数据 而RMSE则必须和你数据本身进行对比之后才有价值 SSE ： 该统计参数计算的是拟合数据和原始数据对应点的误差的平方和 MSE(均方差) = SSE/n 该统计参数是预测数据和原始数据对应点误差的平方和的均值 RMSE(均方根) ...
GBDT（MART） 迭代决策树入门教程 | 简介
苏冉旭的专栏
11-18 2万+
GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAdditiveRegressionTree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。 后记...
随机森林和gbdt结合_决策树、随机森林、GBDT
weixin_39605296的博客
12-30 459
概念决策树(Decision Tree)分为两大类，回归树(Regression Decision Tree)和分类树(Classification Decision Tree)。前者用于预测实数值，如明天的温度、用户的年龄、网页的相关程度；后者用于分类标签值，如晴天/阴天/雾/雨、用户性别、网页是否是垃圾页面。这里要强调的是，前者的结果加减是有意义的，如10岁+5岁-3岁=12岁，后者则无意义，...
【机器学习】：梯度提升决策树（GBDT）
极歌科技
10-08 623
综述 GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   GBDT中的树是回归树(不是分类树)，GBDT用来做回归预测，调整后也可以用于分类。 ...
RMSE（均方根误差）的matlab评价算法
07-15
RMSE评价算法，RMSE一般指均方根误差。均方根误差亦称标准误差。 RMSE（A，B）：A为原图，B为类比图
[机器学习速成课程]验证 (Validation)-学习笔记
qq_20039347的博客
03-11 3333
设置我们首先加载并准备数据。这一次，我们将使用多个特征，因此我们会将逻辑模块化，以对特征进行预处理：import math from IPython import display from matplotlib import cm from matplotlib import gridspec from matplotlib import pyplot as plt import numpy a...
机器学习可视化：模型评估和参数调优
倔强不倒翁的博客
11-05 6465
机器学习可视化：模型评估和参数调优
均方误差（MSE）根均方误差（RMSE）平均绝对误差（MAE）
lighting
01-24 2万+
MSE：Mean Squared Error. 均方误差是指参数的估计值与参数的真实值之差的平方的期望. MSE可以评价数据的变化程度，MSE越小，说明模型的拟合实验数据能力强. (72)MSE=1N∑t=1N(predictedt−label)2" role="presentation" style="position: relative;">MSE=1N
数据挖掘（三）分类模型的描述与性能评估，以决策树为例
王大宝的CD
07-25 1万+
分类模型的描述主要是混淆矩阵，精确率，召回率等等，分类模型的性能评估则主要讲述了交叉验证这种方式，结合决策树讲解了如何用python实现分类模型的描述与评估。
决策树原理推导与使用
yangzixuan_0608的博客
11-21 686
一、初步理解决策树 首先要理解什么是树 自然界中的树是由根节点和叶子节点组成；算法中最简单的树结构：二叉树，左子树所有节点的值均小于等于根节点的值，右子树的所有节点值均大于等于根节点值；讲这两个的目的是为了让大家理解，决策树其实也是做了一样的事情，他反复的在根节点判断，哪些样本该去左侧子树，哪些样本该去右侧子树，直到左侧子树和右侧子树都变成了叶子节点； 根节点 什么是根节点，根节点是每一个...
GBDT实战
bitcarmanlee的博客
09-05 4585
1.GBDT介绍GBDT(Gradient Boosting Decision Tree) 或者称为MART(Multiple Additive Regression Tree)，也可叫GBRT(Gradient Boosting Regression Tree)，是一种基于回归决策树的Boosting集成算法。从名字很容易看出，GBDT是由决策树(Decision Tree)与梯度提升(Gradi
基于spark.ml的GBDT回归模型及评价指标
IT_但丁的博客
09-19 1499
文章目录一、GBDT是什么？二、使用步骤1.引入库2.读入数据3、剔除null数据、重命名列、切分4、创建特征向量5、创建GBDT回归模型 、创建管道6、创建回归评估器7、超参数调整，创建网格搜索8、训练预测模型9、创建模型评价方式10、获取最佳模型，并转换三、工具类 一、GBDT是什么？ 右键百度，这里只贴创建流程的代码。 二、使用步骤 1.引入库 代码如下： import com.cennavi.correlations.domain.{EvaluatorUtils, SparkUtils} im
决策树分类效果评价指标详解
CHYamber的博客
04-14 1万+
1.概念普及： 对于常见二分类问题，样本有两种分类结果（正例与反例）。 在进行分类时，对于一个样本，可能出现的分类情况有四种： （正/正）：真正类 （反/正）：假反类 （正/反）：假正类 （反/反）：真反类 2.评价指标： 1.准确率accuracy： 被正确分类的样本数/样本总数 解读：总共有100个样本，其中有90个样本是预测正确的，则准确率为90% 缺点：不能反映模型区分正反例的能力 2.精...
GBDT梯度提升决策树示意图
最新发布
03-02
GBDT（Gradient Boosting Decision Tree）是一种集成学习法，它通过迭代地训练决策树模型，通过梯度下降的方式不断优化模型的预测能力。下面是GBDT梯度提升决策树的示意图： ``` +--[Tree 1]--+ | | | | | | |...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值