Giraph 单机及集群上运行任务命令说明

Giraph 单机及集群上运行任务命令说明

---

单机运行 Giraph 任务

在单机运行 Giraph 任务之前，确保已经设置了 HADOOP_CONF_DIR 环境变量的值

命令行输入

$ export HADOOP_CONF_DIR=$GIRAPH_HOME

设置过环境变量后，就可以执行自己的任务了

$ giraph [jar文件路径] [类名] -vif [节点输入格式的类名] -vip [节点输入文件路径] -vof [节点输出格式的类名] -op [输出文件路径] -w 1 -ca giraph.SplitMasterWorker=false

例：

$ giraph giraph-examples.jar org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /home/username/graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /home/username/shortestpaths -w 1 -ca giraph.SplitMasterWorker=false

---

集群上运行 Giraph 任务

在集群上运行 Giraph 任务时，不需要再设置*HADOOP_CONF_DIR*环境变量，如果已经设置，建议将原命令行窗口关闭，然后打开一个新窗口。

命令行输入

$ hadoop jar [jar文件路径] org.apache.giraph.GiraphRunner [类名] -vif [节点输入格式的类名] -vip [节点输入文件路径] -vof [节点输出格式的类名] -op [输出文件路径] -w [worker数量] -ca mapred.job.tracker=[master主机地址]

例：

$ hadoop jar giraph-examples.jar org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /input/graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /output/shortestpaths -w 2 -ca mapred.job.tracker=192.168.1.1

转载于:https://www.cnblogs.com/chyf/p/6055949.html