一、启动Hadoop
进入hadoop目录下,
$ cd sbin
$ ./start-all.sh
二、作业提交
以jar包为例,我们可以到/share/hadoop/mapreduce/
目录下看到有hadoop-mapreduce-examples-2.7.2.jar
的示例。
提交作业
hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 5 5
提交完成后,我们可以去平台上查看该作业状态。
三、错误修改
1、找不到命令
hadoop:command not found
解决办法:确认hadoop命令的位置,从该命令目录进行作业提交(一般为hadoop/bin目录下),或把hadoop命令添加到系统变量。
2、提交作业失败,requested memory > max configured
Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=xxx
很明显,我们分配的内存过小。
解决办法:找到hadoop/etc
目录下的yarn-site.xml
,打开文件,把resource.memory-mb附近值修改为4096或更大。