Hadoop安装与配置

1.前言

 

      这里暂时不讲解什么是Hadoop(既然谷歌能找到)，本人也安装过Hadoop，不过是伪分布的方式安装的，这次是3部虚拟机安装，确实遇到了一些问题，所以写下这个教程。其他：反正也没人看前言，这里就略过吧。

                          
2.Hadoop 安装前准备

 

      虚拟机：master(192.168.1.1) slave1(192.168.1.2) slave2(192.168.1.3)

      配置Host：vi /etc/hosts

                      192.168.1.1 master
                      192.168.1.2 slave1 
                      192.168.1.3 slave2

      建立SSH,在master中

                   mkdir ~/.ssh

                   chmod 700 ~/.ssh #同样在slave1，slave2建立

                   进入.ssh目录，生成密钥

                   ssh-keygen -t rsa  #一直确定到结束

                   发布公钥到slave1跟slave2

                   #hadoop_user为你的账户

                   scp id_rsa.pub hadoop_user@slave1:/home/hadoop_user/master_key  

                   进入slave1中的.ssh目录 如果.ssh目录中不存在authorized_keys：

                   mv master_key  authorized_keys

                   chmod 600  authorized_keys

                   如果存在则把master_key追加到authorized_keys中：

                   cat master_key >> authorized_keys

                   回到master中

                   ssh slave1     #第一次访问需要键入yes，然后直接登录，不需要密码

                   同理：

                          master对slave2做ssh

                          slave1对master做ssh

                          slave2对master做ssh

                          master对master本身做ssh

        关于安装JDK6以及将JDK的环境变量设置，这里就不赘述，PS：Google吧，不懂的话

 

 3.Hadoop安装 

 

      在http://hadoop.apache.org/common/releases.html下载Hadoop，目前最新的是1.0.x，下载解压到你自己想放的目录中，我这里放在/usr/hadoop,添加路径到/etc/profile中：

      export HADOOP_HOME=/usr/hadoop/
      export PATH=$HADOOP_HOME/bin:$PATH

      好了，安装好了！！！

 4.Hadoop配置 

 

       进入HADOOP_HOME/conf修改core-site.xml文件

       <configuration> 
           <property> 
               <name>fs.default.name</name> 
               <value>hdfs://master:9000</value> 
           </property>
       </configuration>

 

       修改mapred-site.xml

       <configuration> 
           <property> 
               <name>mapred.job.tracker</name> 
               <value>master:9001</value> 
           </property>
       </configuration>

 

 

       修改hdfs-site.xml

       <configuration> 
           <property> 
               <name>dfs.replication</name> 
               <value>3</value> 
           </property>
       </configuration>

 

       修改masters文件

       master

 

       修改slaves
       slave1 
       slave2 

 

       修改hadoop-env.sh，去掉 export JAVA_HOME 前面的#号
       export JAVA_HOME=/usr/local/jdk1.6   

 

       好了，我们在启动之前我们要先格式化一下namenode

       hadoop namenode -format

 

       经过这步，终于可以启动我们的hadoop了：

       start-all.sh   #因为我们把整个hadoop的bin加入到profile中，所以我们可以直接运行(给新手解释一下)

 

 5.Hadoop测试

 

        打开浏览器，输入：http://master:50070/就可以看到如下集群信息啦！！！怎样，赶紧跟着配置一下吧。

 

Cluster Summary
7 files and directories, 1 blocks = 8 total. Heap Size is 23.69 MB / 966.69 MB (2%)

Configured Capacity : 13.32 GB
DFS Used : 72 KB
Non DFS Used : 7.39 GB
DFS Remaining : 5.93 GB
DFS Used% : 0 %
DFS Remaining% : 44.54 %
Live Nodes : 2
Dead Nodes : 0
Decommissioning Nodes : 0
Number of Under-Replicated Blocks : 1

关于分享本文，请保留本文出处：http://canon--in--d.iteye.com/blog/1490699