《深入理解大数据：大数据处理与编程实践》一一2.5 集群远程作业提交与执行...

本节书摘来自华章计算机《深入理解大数据：大数据处理与编程实践》一书中的第2章，第2.5节,作者 主　编：黄宜华（南京大学）副主编：苗凯翔（英特尔公司），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.5　集群远程作业提交与执行

2.5.1　集群远程作业提交和执行过程
Hadoop程序开发与作业提交的基本过程如图2-7所示。

具体可分为以下2个步骤：
（1）在本地完成程序编写和调试
在自己本地安装了单机分布式或单机伪分布式Hadoop系统的机器上，完成程序编写和调试工作。
（2）创建用户账户
为了能访问Hadoop集群提交作业，需要为每个程序用户创建一个账户，获取用户名、密码等信息。
1）将数据和程序传送到Hadoop集群，准备好数据和程序目录，用scp命令传送到Hadoop平台主机上。
2）用SSH命令远程登录到Hadoop集群。
3）将数据复制到HDFS中，进入到程序包所在的目录，用hadoop dfs-put命令将数据从Linux文件系统中复制到HDFS中。
4）用hadoop jar命令向Hadoop提交计算作业。在这里需要注意，如果程序中涉及到HDFS的输出目录，这些目录事先不能存在，若存在，需要先删除。
2.5.2　查看作业执行结果和集群状态
1.?查看作业运行结果
查阅HDFS中的目录，查看计算结果，如图2-8所示。也可以将文件从HDFS中复制到Linux文件系统中查看。

图2-8　HDFS下的任务计算结果
2.?用Hadoop的Web界面查看Hadoop集群和作业状态
在浏览器中打开http://NameNode节点IP：50070/可以看到集群的基本信息，如图2-9所示。

图2-9　通过Hadoop查看集群的基本信息
相应地，在浏览器中打开http://NameNode节点IP：50030/可以看到集群上的任务执行情况，如图2-10所示。
点击一个作业可以查看作业的详细信息，如图2-11所示。

图2-10　查看集群上的任务执行情况

图2-11　查看作业执行的详细信息