Giraph 单机及集群上运行任务命令说明

最新推荐文章于 2024-02-04 09:37:25 发布
最新推荐文章于 2024-02-04 09:37:25 发布
阅读量551 收藏
点赞数
分类专栏： giraph 文章标签： hadoop 集群 giraph mapreduce jar
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yafeichang/article/details/53131589
版权

Giraph 单机及集群上运行任务命令说明

单机运行 Giraph 任务

在单机运行 Giraph 任务之前，确保已经设置了 HADOOP_CONF_DIR 环境变量的值

命令行输入 

$ export HADOOP_CONF_DIR=$GIRAPH_HOME

设置过环境变量后，就可以执行自己的任务了

$ giraph [jar文件路径] [类名] -vif [节点输入格式的类名] -vip [节点输入文件路径] -vof [节点输出格式的类名] -op [输出文件路径] -w 1 -ca giraph.SplitMasterWorker=false

例：

$ giraph giraph-examples.jar org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /home/username/graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /home/username/shortestpaths -w 1 -ca giraph.SplitMasterWorker=false

集群上运行 Giraph 任务

在集群上运行 Giraph 任务时，不需要再设置*HADOOP_CONF_DIR*环境变量，如果已经设置，建议将原命令行窗口关闭，然后打开一个新窗口。

命令行输入

$ hadoop jar [jar文件路径] org.apache.giraph.GiraphRunner [类名] -vif [节点输入格式的类名] -vip [节点输入文件路径] -vof [节点输出格式的类名] -op [输出文件路径] -w [worker数量] -ca mapred.job.tracker=[master主机地址]

例：

$ hadoop jar giraph-examples.jar org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /input/graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /output/shortestpaths -w 2 -ca mapred.job.tracker=192.168.1.1
-山海經-
关注
专栏目录
SpatialHadoop实例：面向空间数据的高效MapReduce框架
探索地理之源 分享GIS价值
12-17 5246
本文实例介绍了SpatialHadoop平台，它是第一个基于成熟MapReduce对空间数据具有原生支持的框架。SpatialHadoop是对Hadoop的做了一个全面的扩展，使其核心功能可以支持空间数据。因此，对于处理空间数据，SpatialHadoop与目前存在的Hadoop项目相比具有更好的性能。SpatialHadoop主要包括一个简单的空间高级语言、两级空间索引结构，以及建立在MapReduce层的基本空间组件和三个基本空间操作（范围查询、K-NN查询和空间链接）。其他的空间操作同样也可以在Spa
数据库选型粗略对比，欢迎补充！！！
qq_39904855的博客
07-22 3596
MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL是开源的，目前隶属于Oracle旗下产品。MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。MySQL使用标准的SQL数据语言形式。MySQL可以运行于多个系统上，并且支持多种语言。...
LSF集群使用命令说明
01-02
LSF集群使用命令说明 每个命令都有详细说明 英文版
Giraph集群测试Pagerank
cloudeagle_bupt的专栏
03-18 1059
[liuqiang2@mu02 bin]$ giraph ../giraph-core-1.1.0.jar org.apache.giraph.benchmark.PageRankComputation -vif org.apache.giraph.io.formats.IntFloatNullTextInputFormat -vip /test/youTube.txt -vof org.
LSF实践专题（9）：LSF多集群的使用
最新发布
richycn的博客
02-04 1571
例如欧洲的飞机制造商Airbus，就使用了多达几十个集群的LSF多集群。队列名称需要与提交集群lsfcluster1上的队列设置保持一致（lsfcluster1上发送队列设置了SNDJOBS_TO = recvqueue@lsfcluster2，因此lsfcluster2的接收队列名需要是recvqueue）；可以发现，lsfcluster1的sendqueueu队列里的作业1234被转发到lsfcluster2的recvqueue队列执行了，在lsfcluster2该作业的作业号是4321。
Giraph 运行流程（一）
ikroal
09-23 424
前言 本文主要分析了 Giraph1.3 SNAPSHOT 的 Job 提交和初始化的过程。其中 Job 提交部分的分析根据运行在 Standalone 模式下的 Hadoop 部分进行，分析仅涉及本地运行时执行的代码， 而初始化部分则主要根据集群模式进行分析。 示例 Job 该部分不属于源码，而是为了方便分析运行的一个示例 Job，Job 的具体配置和运行在 Giraph 编程实践及源码编译调...
原创干货 | 史上最全的大数据学习资源(Awesome Big Data)
Hadoop技术博文
09-23 1446
很多人在学习大数据的时候比较迷茫，不知从何学起，也不能够比较系统、全面的了解大数据框架。为此，过往记忆花了一个周末的时间把 Awesome Big Data （https...
Hadoop课程知识点总结
weixin_43800143的博客
05-16 1173
第一章 大数据概述 大数据的定义 大数据是指无法在一定时间内用常规软件工具对其 内容进行抓取、管理和处理的数据集合，比如：与人类社会活动有关的网络数据。 三次信息浪潮 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YEQyrrZq-1621149351322)(D:\Program Files\Typora\学习文档\复习\hadoop复习\img\image-20210515162847423.png)] 信息技术为大数据提供的技术支撑 存储设备容量不断增加 CPU处理能
五万字，57道hadoop大厂高频面试题，每一字都细心打磨，强烈建议收藏！
热门推荐
雷恩Layne
09-25 1万+
文章目录1. 简述hadoop1与hadoop2 的架构异同2. 请介绍一下hadoop的HDFS3. Hadoop的运行模式有哪些4. Hadoop生态圈的组件并做简要描述5. 解释“hadoop”和“hadoop生态系统”两个概念6. 请介绍HDFS的组成架构7. HDFS的文件块大小有什么影响8. HDFS的写（上传）数据流程9. 机架感知（副本存储节点选择策略）10. HDFS的读数据流程11. NN 和 2NN 工作机制（元数据持久化机制）12. Fsimage 和 Edits中的内容13. Na
Giraph配置要点
cloudeagle_bupt的专栏
06-19 493
1. 如果不在giraph_env中增加hadoop的目录，会直接运行locaRunner模式，日志全打印在屏幕上。 HADOOP_HOME="/opt/hadoop-1.2.1" HADOOP_CONF_DIR="$HADOOP_HOME/conf" if [ "$HADOOP_CONF_DIR" = "" ] ; then HADOOP_CONF_DIR=$HADOOP
Giraph 1.0集群环境配置
wjlwangluo的博客
01-18 721
环境说明 以下配置过程在实验室集群,深圳集群,腾讯云集群上均测试成功,系统包括CentOS,Ubuntu Hadoop-1.0.2 Giraph-1.0.0 Jdk1.7 下面详细叙述一下在实验室集群上面配置的细节 系统环境 Distributor ID: Ubuntu Description: Ubuntu 16.04.3 LTS Release: 16.04
Giraph的安装
阿鱼的博客
03-04 411
Giraph的安装 环境 Ubuntu 14.04LTS jdk1.8 Hadoop 2.5.1 maven 3以上 配置 用户、用户组配置 sudo addgroup hadoop sudo adduser --ingroup hadoop hduser 安装JDK 将下好的jdk-8u162-linux-x64.tar.gz解压，将目录改名为jdk1.8,并拷贝到/usr/local目录...
Giraph基础介绍
＂悸动的青春ゞ's专栏
07-08 977
Giraph Overview
Giraph配置及使用
crazy_scott的博客
12-25 1031
环境配置 Hadoop配置 这里使用Hadoop2.5.1进行配置，可以参考这里。 查看版本号 运行Hadoop ./hadoop-2.5.1/sbin/start-dfs.sh 查看是否成功 Giraph配置 下载Giraph cd /usr/local sudo git clone https://github.com/apache/giraph.git sudo chown -R ha...
Spark - 第15章 Spark如何在集群上运行
Syntactic Sugar
07-01 1199
当实际运行Spark应用程序时，我们会从集群管理器那里请求资源来运行它。根据应用程序的配置，我们可能获得一个运行Spark驱动器的机器资源，或者可能获得的是我们Spark执行器的计算资源。在Spark应用程序执行过程中，集群管理器将负责管理执行应用程序的底层机器。 Spark目前支持三个集群管理器：一个简单的内置独立集群管理器。Apache Mesos和Hadoop YARN。但是，支持的集群管理器可能会越来越多，因此请务必查看集群管理器的文档以了解最新的更新，这会让你有机会使用你最喜欢的集
giraph部署脚本
cloudeagle_bupt的专栏
09-06 189
将主机名改为: c01-c05,   #!/bin/sh for i in `seq 2 5` ; do scp giraph-dist-1.1.0-bin.tar.gzhadoop-1.2.1.tar.gz root@c0$i:/opt/ ; done COMMANDS="cd /opt/;tar -zxvf giraph-dist-1.1.0-bin.tar.gz; chown...
Giraph 基础介绍
Hama White 的博客
03-30 8498
Giraph基于Hadoop而建，将MapReduce中Mapper进行封装，未使用reducer。在Mapper中进行多次迭代，每次迭代等价于BSP模型中的SuperStep。一个Hadoop Job等价于一次BSP作业。基础结构如下图所示。 欢迎访问： 西北工业大学 - 大数据与知识管理研究室 （Northwestern Polytechnical University - BigData and Knowledge Management Lab），链接：http://wowbigdata.cn/，ht
HPC大规模集群下的Hadoop2.5+Zookeeper3.4+Giraph1.2的配置、安装与应用
AlexP5的博客
01-20 1511
因为实验室项目需求需要进行上亿规模的图文件计算，还好学校HPC（高性能计算机中心）有100多台机器可以用，不用花高价买阿里云服务了，不过。。因为HPC的机器都是用来跑mpi程序的，很少进行分布式计算，更坑爹的是里面装的Hadoop2.7.4版本和Giraph不兼容，所以只有全部纯手动进行安装配置了... 在安装的过程中遇到了非常非常多的坑，下面进行学习总结，以防重蹈覆辙。一、项目需求首先简单介绍一...
在非hadoop集群上运行hadoop命令
05-13
如果你想在非Hadoop集群上运行Hadoop命令，可以按照以下步骤进行： 1. 下载Hadoop安装包并解压缩到本地目录。 2. 配置Hadoop环境变量，包括JAVA_HOME和Hadoop安装目录。 3. 在Hadoop安装目录中的bin目录下，找到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值