xgboost on yarn and xgboost4j-spark部署

最新推荐文章于 2022-07-20 17:24:41 发布
最新推荐文章于 2022-07-20 17:24:41 发布
阅读量5k 收藏 5
点赞数
分类专栏： 数据挖掘 文章标签： xgboost on yarn 部署 xgboost分布式部署 xgboost4j xgboost4j-spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/webzjuyujun/article/details/78553518
版权
本文详细介绍了如何在YARN上部署xgboost和xgboost4j-spark，包括安装、配置、环境变量设置、测试运行以及本地开发环境的搭建。关键步骤包括：选择兼容版本的Hadoop源码编译libhdfs，配置xgboost的config.mk，设置环境变量，以及使用dmlc-submit提交任务进行分布式训练。此外，还提到了xgboost4j-spark的Maven安装和Spark代码示例。
摘要由CSDN通过智能技术生成

参考:

http://blog.csdn.net/u010306433/article/details/51403894

 

注意点:

1.各个软件的版本(gcc/cmake)

2.选择相同版本hadoop源码,且libhdfs 要自己编译,参数加上 cmake -DGENERATED_JAVAH=/opt/jdk1.8.0_60 -DJAVA_HOME=/opt/jdk1.8.0_60 即可

3.xgboost编译:

config.mk文件中修改:

USE_HDFS = 1

HADOOP_HOME=/export/App/hadoop-2.7.4

HDFS_LIB_PATH=/data1/user/software/hadoop-2.7.4-src/hadoop-hdfs-project/hadoop-hdfs/src/target/usr/local/lib (新编译的libhdfs文件)

xgboost/dmlc-core/make 下面的config.mk配置也要修改:USE_HDFS = 1

4.环境变量:

export HADOOP_HOME=/export/App/hadoop-2.7.4

export LD_LIBRARY_PATH=/data1/user/software/hadoop-2.7.4-src/hadoop-hdfs-project/hadoop-hdfs/src/target/usr/local/lib:$LD_LIBRARY_PATH

export CLASSPATH=$CLASSPATH:`hadoop classpath --glob` #防止出现之类的错误(

最低0.47元/天 解锁文章
leo鱼
关注
专栏目录
XGBoost Algorithm: Long May She Reign!
weixin_41697507的博客
04-13 624
XGBoost Algorithm: Long May She Reign! 统治世界的机器学习算法的新王子… 我还记得十五年前我第一份工作的第一天。 我刚完成研究生课程，并以分析师的身份加入了一家全球投资银行。 在我的第一天，我一直拉直领带，并试着记住我学过的一切。 与此同时，在内心深处，我想知道我是否对企业界足够好。 感觉到我的焦虑，我的老板微笑着说： “别担心！ 你唯一需要知道的就是回归模...
银行大数据工程师笔试题
小力子的博客
09-06 1万+
Spark有3种运行模式（分布式部署方式）：独立集群运行模式、YARN运行模式、Mesos运行模式。 SecondaryNameNode：它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间。 以下python语句(Python 2.7.13)的执行结果是： import re key = r"mat cat hat pat" p1 = r"[^c|p]at" pa...
xgboost(1.0) yarn（附CDH 5.14的个人心得）
rav009的专栏
09-05 401
个人心得（CDH5.14，心得是对下文转载步骤的补充）： CDH5.14的config.mk config.mk的配置要改成如下： USE_HDFS = 1 HDFS_LIB_PATH = /home/user/xgboost/xgboost-package/libhdfs/lib HADOOP_HOME = /opt/cloudera/parcels/CDH HADOOP_HDFS_HO...
xgboost学习
weixin_33695450的博客
06-30 158
1、原理 https://www.cnblogs.com/zhouxiaohui888/p/6008368.html 2、实战 xgboost中比较重要的参数介绍： （1）学习率：learning rate ：一般设置比较低，0.1以下 （2）tree： max_depth min_child_weight subsample colsample_bytree gamma （...
xgboost and xgboost4j
热门推荐
zhangweijiqn的专栏
11-18 1万+
XGBoost Scalable, Portable and Distributed Gradient Boosting (GBDT, GBRT or GBM) Library, for Python, R, Java, Scala, C++ and more. Runs on single machine, Hadoop, Spark, Flink and DataFlow 可扩展、
xgboost 在ubuntu上安装，并编译好jvm-packages
11-03
2017年11月2号晚上下载的最新版本的xgboost, ubuntu中编译好的，jvm packages编译好的，生成的jar包在jvm-packages下对应的target文件夹下
PySpark包依赖问题解决方案及实践
pop_xiaohao的专栏
08-09 2998
摘要： hadoop yarn调度pyspark在使用过程中，使用场景不一致，需要安装一些三方依赖，尤其在机器学习算法方面依赖许多科学包如numpy、pandas 、matlib等等，安装这些依赖是一个非常痛苦的过程，本章结合ti产品在私有化过程中依赖包及版本升级等为题进行简单介绍。 Spark on yarn分为client模式和cluster模式，在client模式下driver 会运行在提交节点上，该节点也可能不是yarn集群内部节点，这种方式可以根据自己的需要安装软件和依赖，以支撑spark app
大数据学习顺序
qq_44751060的博客
12-20 1372
第一阶段：Java语言编程基础 1.计算机基础 DOS常用命令、Java概述、JDK环境安装配置、环境变量配置、Java程序入门 2.编程基础 常量与变量、数据类型、运算符、流程控制语句、方法、数组 3.面向对象 面向对象思想、类与对象、成员变量和局部变量、封装、 this关键字、构造方法 4.常用类 Object类、Scanner类、Random类、String、StringBuilde...
xgboost4j-spark.jar 0.7版本 xgboost4j.jar 0.7版本以及其他jar包
09-12
很多人反应编译不出xgboost4j的相关jar包 现将所有xgboost4j生成的jar包上传 供学习工作使用 jar包是在jvm-packages下生成最新的0.7版本
xgboost4j和xgboost4j-spark(linux及win64版本)
01-24
Java版xgboost，分linux和win64两种编译版本，linux下另有xgboost4j-spark和xgboost4j-flink的依赖包
Spark - ml.dmlc.xgboost4j / spark 版本匹配与 NoSuchMethodError 解决
BITDDD小栈
03-18 2255
spark 项目引入 ml.dmlc.xgboost4j 训练并读取 xgboost 模型，load 模型期间报错 NoSuchMethodError，通过源码的分析得到 xgboost 与 spark 版本对应关系。
数据挖掘xgb使用总结
qq_16446137的博客
07-20 6907
数据挖掘xgb使用总结 1.数据挖掘背景 2.常见模型及特点
xgboost在spark集群使用指南
shanxishiwenli的专栏
05-11 2127
1.maven环境配置 <dependency> <groupId>ml.dmlc</groupId> <artifactId>xgboost4j</artifactId> <version>0.90</version> </dependency> <dependency> <groupId>ml.dmlc</groupId> <
使用xgboost4j-spark进行模型训练
abc50319的专栏
11-01 4746
代码说明 xgboost作为数据挖掘类比赛的必备算法，之前参加jdata比赛时，也学着使用了下xgboost4j-spark，觉得很好用，既支持分布式，同时效果和速度都比spark自带的gbdt,rf算法效果要好。 模型代码包含: -train：训练 -train_cv：训练带交叉验证进行参数选择 -predict_eval：预测并在验证集上验证准确率 -predict：预测 -train_le...
Xgboost4j打包 java Ubuntu安装
CS番茄
09-20 1769
Xgboost4j打包 java Ubuntu安装1. 踩过的坑写在最前网上找了几个教程，教程比较少，能用上的不多(1)比如jni.h 和 jni_md.h 用来编译xgboost4j_wrapper.cpp生成打包的动态链接库 (只存在旧版本，但是还是以java文件夹名，现在是jvm-packages)，没生成成功 (2)去网上找了个别人的动态链接库libxgboostjavawrapper.
spark安装_编译安装xgboost4j-spark
weixin_39849942的博客
12-05 329
用于公司的推荐系统，注意黑体加粗字编译版本：xgboost ====> 0.72spark ======> 2.1.1注：网上找了一些博客写到 xgboost 0.72 才支持 spark 2.xxgboost 0.82 开始支持 spark 2.3.x 及以上版本具体没有细究过，待考证准备：1、安装cmake版本：3.16.0 ，试过安装3.9.3 版本，一直编译报错2、安装Vis...
scala-spark版本xgboost包使用
山谷来客
12-01 1万+
//  XGBOOST测试 //调用形式 //  /opt/app/spark-1.6.1/bin/spark-shell --master yarn-client --conf spark.executor.extraJavaOptions='-XX:PermSize=1024M' --driver-memory 6g --num-executors 80  //(续上)  --e
Spark on YARN 实现深度解析
"Spark源码解析，探讨Spark on YARN的实现细节，主要基于Spark 1.0.0版本。" Spark on YARN是Apache Spark与Hadoop YARN（资源调度器）集成的一种方式，允许Spark应用在YARN集群上运行。在Spark源码系列的第七部分...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值