java yarn,在Hadoop yarn 2.6.0上运行giraph

我想用纱线在 hadoop 2.6.0 上使用Giraph .

我已经设法通过删除 yarn profile 中的 中的 STATIC_SASL_SYMBOL 来构建它 . 使用命令:

sudo mvn -Phadoop_yarn -Dhadoop.version=2.6.0 -DskipTests package

然后我've setup a single node cluster with hadoop 2.6.0 and I'能够执行基本的wordcount示例 . 我已经复制了内置在 share/hadoop/mapreduce 目录中的jar来删除 GiraphMaster not found execption .

现在,我正在尝试使用以下命令运行 SimpleShortestPaths 示例:

$HADOOP_PREFIX/bin/hadoop jar /usr/local/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.6.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip input_tiny2.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/output/shortestpaths445 -w 1 -ca giraph.SplitMasterWorker=false -yj giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.6.0-jar-with-dependencies.jar

使用的数据是giraph快速启动页面上的小图表,作业应该需要几分钟才能完成,但事实并非如此 .

可以在hadoop 2.6.0上使用giraph工作,还是必须使用早期版本?如果是的话,你会建议哪一个?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值