linux查看hdfs进程,Hadoop启动jobhistoryserver

Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启动的方法是通过：

mr-jobhistory-daemon.sh start historyserver 命令还启动。

由于前面有过一篇通过web查看job的运行情况的文章(文章的出处：http://www.linuxidc.com/Linux/2015-05/117501.htm)，文中介绍的是当作业在运行时，如何通过web查看job的运行情况，当job运行完之后，就无法查看，这是由于集群的historyserver 进程没有启动。因此需要手动启动。

我在启动的时候出现错误：

mnvaild maxumum heap size :-Xmx1000

ERROR:could not create the java Virtual Machine  如下图所示：

通过查看执行的脚本mr-jobhistory-daemon.sh的内容，发现脚本文件中的内容并未涉及到maxumum heap size的问题，于是可能是脚本文件中调用的其他文件所导致的，如下图所示：

由于mapred-config.sh 脚本文件并未发现，因此只有mapred-env.sh 脚本文件中出现的问题。于是查看mapred-env.sh 脚本文件，如下图所示：

该文该中队jobhistoryserver的堆栈大小进行了设置，

HADOOP_JOB_HISTORYSERVER_HEAPSIZE的值默认单位是M，因此在设置的时候不需要添加任何的单位，默认设置的值是1000，于是我将该值设置为100。再执行

mr-jobhistory-daemon.sh start historyserver

此时，执行historyserver启动成功，这时候就可以点击web页面上的job最右边的history的选项，进入作业历史运行界面，查看历史运行信息，包括：运行了多少个map，多少个reduce，多少个counters等等。

意义：设置查看历史作业信息的目的是在执行完之后可以查看运行的情况，从而了解程序的执行能在自己的预料之中进行运行。否则就可以很快的定位问题的所在。