hadoop学习笔记2：hadoop分布式环境搭建

一、实验目的：

（1）搭建一套hadoop的分布式运行环境，用于学习hadoop相关知识。

（2）相对于为分布式和本地模式，分布式环境更接近于实际的生产环境

NameNode	JobTracker	SecondaryNameNode	Slaves
chaoren1	chaoren2	chaoren2	chaoren3   、   chaoren4   、 chaoren5

  

二、实施基础：

          （1）阿里云服务器5个节点        

节点名称	公网   IP	内网   IP
chaoren1	115.29.41.*	10.161.74.123
chaoren2	115.28.240.*	10.161.61.164
chaoren3	115.28.181.*	10.144.185.31
chaoren4	42.96.187.*	10.129.89.107
chaoren5	115.28.196.*	10.144.24.126

          （2）linux操作系统：centos 6.3 64位

（3）jdk：JAVA_HOME = /usr/local/jdk
（4）以设置免密码登录（参看实验1：ssh免密码登录）

三、实施步骤：

（1）下载hadoop-1.1.2.tar.gz文件并上传至chaoren1 的cr12用户的主目录下的soft文件夹下（如没有需创建：mkdir  soft）
（2）解压缩hadoop-1.1.2.tar.gz文件，使用命令：

cd /mnt/home/cr12/soft

tar -zxvf hadoop-1.1.2.tar.gz

（3）分别修改/mnt/home/cr12/soft/hadoop-1.1.2/conf 下hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml  4个文件

               ---- hadoop-env.sh，空白处增加：
                    export JAVA_HOME=/usr/local/jdk

               ---- core-site.xml：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

   <property>

     <name>fs.default.name</name>

     <value>hdfs://chaoren1:9012</value>

   </property>

   <property>

     <name>hadoop.tmp.dir</name>

     <value>/mnt/home/cr12/soft/hadoop-1.1.2/tmp</value>

   </property>

</configuration>

   ---- hdfs-site.xml：

<configuration>

      <property>

          <name>dfs.http.address</name>

          <value>0.0.0.0:50082</value>

     </property>

     <property>

          <name>dfs.secondary.http.address</name>

          <value>0.0.0.0:0</value>

     </property>

     <property>

          <name>dfs.datanode.address</name>

          <value>0.0.0.0:0</value>

     </property>

     <property>

          <name>dfs.datanode.ipc.address</name>

          <value>0.0.0.0:0</value>

     </property>

     <property>

          <name>dfs.datanode.http.address</name>

          <value>0.0.0.0:0</value>

     </property>

     <property>

          <name>dfs.replication</name>

          <value>3</value>

     </property>

     <property>

          <name>dfs.permissions</name>

          <value>false</value>

     </property>

</configuration>

          ----mapred-site.xml：

<configuration>

     <property>

          <name>mapred.job.tracker</name>

          <value>http://chaoren2:8012</value>

     </property>

     <property>

          <name>mapred.job.tracker.http.address</name>

          <value>0.0.0.0:50042</value>

     </property>

     <property>

          <name>mapred.task.tracker.http.address</name>

          <value>0.0.0.0:0</value>

     </property>

</configuration>

（4）修改master和slaves文件

----master文件增加如下内容，指定jobtracker主机为chaoren2：
     chaoren2

----slaves文件增加如下内容，指定从节点:
     chaoren3
     chaoren4
     chaoren5

四、将hadoop文件分发到个节点中去：

          （1）在chaoren1上执行：

scp -r ~/soft chaoren2:~

scp -r ~/soft chaoren3:~

scp -r ~/soft chaoren4:~

scp -r ~/soft chaoren5:~

五、格式化namenode和启动hadoop：
（1）格式化namenode

1、cd到hadoop文件夹下，执行bin/hadoop namenode -format ，如提示format successfuly，表示格式化成功

2、如格式化过程中报错，仔细看报错信息或查看hadoopm目录下的log文件信息，定位错误并修改，再次执行格式化命令

（2）启动hadoop

----chaoren1下启动namenode
     bin/hadoop-daemon.sh start namenode
----chaoren2下启动SecondaryNamenode和JobTracker
     bin/hadoop-daemon.sh start secondarynamenode
     bin/hadoop-daemon.sh start jobtracker
----chaoren1下启动Datanode和TaskTracker
     bin/hadoop-daemons.sh satrt datanode
     bin/hadoop-daemons.sh start tasktracker

（3）如何验证是否启动成功？

1、在各节点上输入jps命令查询是否有相应的进程

2、尝试访问浏览器中访问chaoren1:50082  和 chaoren2:50042

（4）关闭hadoop集群

----chaoren1下关闭Datanode和TaskTracker

     bin/hadoop-daemons.sh stop datanode
     bin/hadoop-daemons.sh stop tasktracker

----chaoren2下关闭SecondaryNamenode和JobTracker

     bin/hadoop-daemon.sh stop secondarynamenode
     bin/hadoop-daemon.sh stop jobtracker

----chaoren1下关闭namenode

     bin/hadoop-daemon.sh stop namenode