Giraph 运行常见错误

原创 2016年08月30日 09:13:35

1. Could not find or load main class org.apache.giraph.yarn.GiraphApplicationMaster

16/08/30 08:45:13 ERROR yarn.GiraphYarnClient: Giraph: org.apache.giraph.examples.SimpleShortestPathsComputation reports FAILED state, diagnostics show: Application application_1472465026418_0008 failed 2 times due to AM Container for appattempt_1472465026418_0008_000002 exited with  exitCode: 1 due to: Exception from container-launch: ExitCodeException exitCode=1: 

ExitCodeException exitCode=1: 

at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)

at org.apache.hadoop.util.Shell.run(Shell.java:455)

at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)

at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)

at java.util.concurrent.FutureTask.run(FutureTask.java:262)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)

at java.lang.Thread.run(Thread.java:745)

Container exited with a non-zero exit code 1.Failing this attempt.. Failing the application.

出现该错误时在命令行运行的命令为:

  1. $> hadoop jar /home/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar
  2. org.apache.giraph.GiraphRunner
  3. org.apache.giraph.examples.SimpleShortestPathsComputation -vif
  4. org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat
  5. -vip /user/input/tiny_graph.txt -vof
  6. org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op
  7. /user/giraph_output/shortestpaths -w 4 -yj
  8. /home/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar

在网上查到说好像是绝对路径的问题,于是创建软链接试试:

  1. ln -s /home/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar

然后重新运行命令行:

  1. $> hadoop jar giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar
  2. org.apache.giraph.GiraphRunner
  3. org.apache.giraph.examples.SimpleShortestPathsComputation -vif
  4. org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat
  5. -vip /user/input/tiny_graph.txt -vof
  6. org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op
  7. /user/giraph_output/shortestpaths -w 4 -yj
  8. giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar

发现可以工作了。


版权声明:本文为博主原创文章,未经博主允许不得转载。

Label Propagation算法Giraph实现

package org.apache.giraph.examples.lp; import java.io.IOException; import java.util.ArrayList; impo...
  • cloudeagle_bupt
  • cloudeagle_bupt
  • 2017年08月18日 17:38
  • 157

Hello Giraph

转载自:http://www.cse.cuhk.edu.hk/~ericlo/teaching/bigdata/lab/9-Giraph/#execute Introduction Apach...
  • u011545382
  • u011545382
  • 2018年01月09日 16:51
  • 73

Hello Giraph

Apache Giraph http://blog.cloudera.com/blog/2014/02/how-to-write-and-run-giraph-jobs-on-hadoop/ ht...
  • zqhxuyuan
  • zqhxuyuan
  • 2015年01月16日 11:44
  • 2843

Giraph-Eclipse安装-源码调试

Giraph-Eclipse安装-调试源码 1. 官网上下载giraph-1.0.0,放在 /home/hadoop目录下,把giraph-1.0.0文件夹重命名为giraph-1.0.0-src。 ...
  • xin_jmail
  • xin_jmail
  • 2013年11月06日 19:08
  • 5319

Giraph源码分析(一) —— 启动ZooKeeper服务

欢迎访问: 西北工业大学 - 大数据与知识管理研究室 (Northwestern Polytechnical University - BigData and Knowledge Management...
  • xin_jmail
  • xin_jmail
  • 2014年03月30日 19:45
  • 4421

Giraph 基础介绍

Giraph基于Hadoop而建,将MapReduce中Mapper进行封装,未使用reducer。在Mapper中进行多次迭代,每次迭代等价于BSP模型中的SuperStep。一个Hadoop Jo...
  • xin_jmail
  • xin_jmail
  • 2014年03月30日 19:54
  • 6466

对Giraph的一些理解

这两天又重新看了一下Giraph源码,对整体架构的理解又有了新的认识和理解,下面逐点来说。 一、Giraph本质的理解: 大家都知道,Giraph对用户来讲可能是一个基于Pregel模型的图运算项目,...
  • wlp001007
  • wlp001007
  • 2016年04月27日 10:23
  • 935

Giraph:基于Hadoop的开源图形处理平台

开源项目Giraph的支持者或许都知道,Facebook在开发图谱搜索(Graph Search)服务时,选择采用了Giraph,并开始了对此项开源技术的研究。Facebook将Giraph规模化并作...
  • badboy_1990
  • badboy_1990
  • 2014年07月08日 19:13
  • 664

python新手常见的报错提示

python新手常见的报错提示 在运行或编写一个程序时常会遇到错误异常,这时python会给你一个错误提示类名,告诉出现了什么样的问题(Python是面向对象语言,所以程序抛出的异常也是类)。能很好...
  • u010541307
  • u010541307
  • 2016年10月15日 22:40
  • 7420

Giraph调试尝试

方法1: 看日志。 方法2: mapred.child.java.opts -Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,a...
  • cloudeagle_bupt
  • cloudeagle_bupt
  • 2016年03月17日 15:11
  • 520
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Giraph 运行常见错误
举报原因:
原因补充:

(最多只允许输入30个字)