上篇文章hadoop完全分布式集群搭建只是提到hdfs文件系统的安装配置,这篇短文关注mapreduce的安装配置,最终的启动也只是
start-dfs.sh
,而非start-all.sh
。事实上在hdfs完全分布式搭建完成的环境中进行mapreduce的相关配置,是一件轻而易举的事,以为hdfs和mapreduce是hadoop框架的核心组件,一个负责存储,一个负责计算,配合得很好。
修改map-site.xml
通过mapred.job.tracker指定JobTracker的执行节点。
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>node1:9001</value>
</property>
</configuration>
安装mapreduce,其实是分配JobTracker和TaskTracker,TaskTracker自然对应datanode节点,原则上JobTracker对应于任何一个节点都可以,然而具体实践时,如果指定node2(node3,普通的datanode节点),不会如预想的在node2(或者node3)上启动相关的任务。
查看对应的日志文件(文件路径/usr/local/hadoop/logs
)
tail -n50 hadoop-root-jobtracker-node1.log
会有一条错误:
FATAL org.apache.hadoop.mapred.JobTracker: java.net.BindException: Problem binding to node3/192.168.16.103:9001 : Cannot assign requested address
无法对请求的地址进行绑定;
如前所示,在mapred-site.xml
的配置文件中,将JobTracker配置在node1(也即namenode所在的节点)就不会出现这样的问题。
启动
start-all.sh
分别在node1、node2和node3中查看运行的java进程数,和预期的一致。
验证
执行过start-all.sh
之后,在windows操作系统的浏览器地址栏中输入,
http://node1:50070
http://node1:50030
分别打开hdfs和mapreduce管理界面。
注:这里的端口号(对应http协议)是50070(对应hdfs)和50030(对应mapreduce)而不是配置文件中设置的9000和9001,它们都对应于RPC协议。