1 运行自带的MapReduce程序
下面我们在Hadoop集群上运行一个MapReduce程序,以帮助读者对分布式计算有个基本印象。
在安装Hadoop时,系统给用户提供了一些MapReduce示例程序,其中有一个典型的用于计算圆周率的Java程序包,现在运行该程序。
该jar包文件的位置和文件名是“~/hadoop-3.1.0/share/Hadoop/mapreduce/hadoop- mapreduce-examples-3.1.0.jar”,我们在终端输入hadoop jar ~/hadoop-3.1.0/share/hadoop/ mapreduce/hadoop-mapreduce-examples-3.1.0.jar pi 10 10
。按下Enter键后即可开始运行。其中pi是类名,后面跟了两个10,它们是运行参数,第一个10表示Map次数,第二个10表示随机生成点的次数(与计算原理有关)。
如果在程序运行过程中出现如图4-42所示的输出信息,则表明程序在正常运行,系统处于良好状态。
值得指出的是,运行Hadoop的MapReduce程序是验证Hadoop系统是否正常启动的最后一个环节。实际上,即使通过“jps”命令和Web界面监测验证了系统已经成功启动,并且能够查看到状态信息,也不一定意味着系统可以正常工作。例如,如果防火墙没有关闭,MapReduce程序运行就不会成功。
2 常见错误
经常有用户不能正常运行上述MapReduce程序,所遇到的错误提示也各不相同,主要有以下这些情况:
第一,Linux防火墙没有关闭,用户看到系统抛出“no route to host”或“There are 0 datanode(s) running and no node(s) are excluded in this operation.”异常信息。特别是在后一种异常情况下,我们虽然使用“jps”命令可以查看到Master和Slave上的NameNode、DataNode等进程都存在,但是如果使用“http://master:9870/”查看Hadoop状态,就会发现没有活动的DataNode,这就是无法正常运行MapReduce程序的原因。要消除上述异常,就必须关闭Linux防火墙,而且所有节点的防火墙都要关闭,然后重新启动Hadoop即可。关于关闭防火墙的具体办法,请参见第3章中有关内容。
java.net.NoRouteToHostException: No route to hostjava.net.NoRouteToHostException: No route to host
第二,系统不稳定。当系统由于某种原因处于一种不稳定状态时,也可以导致程序运行失败,一般可以简单地重新运行一下命令即可。
第三,系统处于安全模式,这时系统会给出提示“system is in safe mode”。这时,我们只要执行如下命令:hadoop dfsadmin -safemode leave
即可关闭安全模式。离开安全模式后,就可以正常运行程序了。
第四,mapred-site.xml配置不合适。在Hadoop中运行应用程序时,出现了“running beyond virtual memory”错误,提示信息是“Container [pid=6629,containerID=container_ 1532136350867_0001_01_000026] is running 541133312B beyond the ‘VIRTUAL’ memory limit. Current usage: 291.8 MB of 1 GB physical memory used; 2.6 GB of 2.1 GB virtual memory used. Killing container”。显然,这表明Slave上运行的Container试图使用过多的内存,而被NodeManager 杀(kill)掉了。解决办法是调整mapred-site.xml配置,例如,可以将下面这些配置代码加入mapred-site.xml文件中:
<property>
<name>mapreduce.map.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
</property>
上述代码中的value需要根据自己计算机内存大小及应用情况决定。
上述几种异常有时候可以重叠在一起出现,这时候就需要逐个解决问题。
Hadoop是一种开源系统,且处于不断进化中,出现各类问题是很正常的。从某种意义上讲,开发和应用Hadoop大数据应用系统,就是一个不断面对各种问题、需要持续努力和耐心去应对的过程。