hadoop分布式部署系列2:MR1

安装服务

分布式mr1：jobtracker、tasktracker

环境准备：

主节点：192.168.58.129(hostname:master)

子节点：192.168.58.130(slave1),192.168.58.131(slave2),192.168.58.132(slave3)

节点已经安装完成HDFS服务，参见 hadoop分布式部署系列1:HDFS

安装包：

mr1-2.0.0-mr1-cdh4.2.1.tar.gz

部署步骤：

1. 上传安装包并解压

/home/liulu/app/hadoop-2.0.0-mr1-cdh4.2.1

注：四个节点都安装

2. 修改以下文件

mr1文件1：

cp ~/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/core-site.xml ~/app/hadoop-2.0.0-mr1-cdh4.2.1/conf/
mr1文件2：/home/liulu/app/hadoop-2.0.0-mr1-cdh4.2.1/conf/mapred-site.xml：
<property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value> 
</property>

<property>

         <name>mapred.temp.dir</name>

         <value>${hadoop.tmp.dir}/mapred/temp</value>

         <description>A shared directory for temporary</description>

</property>

mr1文件3：/home/liulu/app/hadoop-2.0.0-mr1-cdh4.2.1/conf/slaves:
slave1

slave2

slave3

mr1文件4：/home/liulu/app/hadoop-2.0.0-mr1-cdh4.2.1/conf/hadoop-env.sh：

export JAVA_HOME=/home/liulu/app/jdk1.6.0_31

注：上述修改文件在四个节点都修改

3. 启动mr1集群

cd /home/liulu/app/hadoop-2.0.0-mr1-cdh4.2.1/bin

./start-mapred.sh

4. 检查mr1集群

看进程（JobTracker、TaskTracker）：

[liulu@master conf]$ jps -m

2749 NameNode

2932 SecondaryNameNode

3263 JobTracker

[liulu@slave1 ~]$ jps -m

5068 DataNode

5210 TaskTracker

看JobTracker监控页面：

http://192.168.58.129:50030/jobtracker.jsp

5. mr1操作

执行wordcount例子

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/bin

./hdfs dfs -mkdir /in

./hdfs dfs -put ~/testfile /in/（准备源数据）

cd /home/liulu/app/hadoop-2.0.0-mr1-cdh4.2.1/bin

./hadoop jar ../hadoop-examples-2.0.0-mr1-cdh4.2.1.jar wordcount /in /out（执行wordcount）

./hadoop fs -ls /out（查看输出结果）

6. 关闭mr1

cd /home/liulu/app/hadoop-2.0.0-mr1-cdh4.2.1/bin

./stop-mapred.sh