Hadoop集群安装

第一部分：环境规划

?用户 test 密码 test

?机器

主机名	IP	角色
bigdata-1	172.16.206.205	NameNode JobTraker Sencondary NameNode
bigdata-2	172.16.206.231	DataNode TaskTracker

?NameNode元数据目录

?/home/test/dfs/namenode

?DataNode 数据存放目录

?/home/test/dfs/datanode

?Sencondary NameNode

?/home/test/dfs/sencondnode

            

           

第二部分：安装JDK并配置环境变量

安装 JDK 并配置环境变量

 

?2 台机器做同样的事情

?更改执行权限

?chmod +x jdk-6u24-linux-i586.bin

?安装

?./jdk-6u24-linux-i586.bin

?配置环境变量

?Home路径下，打开.bashrc文件，命令如下

?vi .bashrc

?添加JAVA环境变量

?export JAVA_HOME=/home/hadoop/java

?export PATH=$JAVA_HOME/bin:$PATH

 

 

第三部分：建立互信配置SSH

配置互信

每台机器上执行

$ ssh-keygen

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2

             

      

第四部分：安装Hadoop并配置环境变量

安装并配置Hadoop的环境变量

?解压Hadoop，到/home/test路径下

? tar zxvf hadoop-1.0.0.tar.gz

?建立软连接

?ln –s   hadoop-1.0.0  hadoop

?配置环境变量

?vi  .bashrc

?添加如下内容

          export HADOOP_CORE_HOME=/home/test/ hadoop

          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH

 

 

第五部分：配置Hadoop集群

core-site.xml

fs.default.name

hdfs://bigdata-1:9000

fs.checkpoint.dir

        /home/test/dfs/sencondnode

hdfs-site.xml

            dfs.name.dir

     /home/test/dfs/namenode

             dfs.data.dir

             >/home/test/dfs/datanode

      dfs.replication

        1

  

mapred-site.xml

  mapred.job.tracker

  bigdata-1:9001

master与slaves

?master

     文件添加内容如下

                   bigdata-1

?    Slaves

     文件添加内容如下

                    bigdata-2

Hadoop-env.sh

?export JAVA_HOME=/home/tes/soft/java

 

第六部分：启动Hadoop集群

启动Hadoop集群

?hadoop namenode -format

?start-all.sh

?start-dfs.sh start-mapred.sh

?hadoop-deamon.sh start  namenode

                                              datanode

                                              jobtracker

                                              tasktracker

                                              sencondnamenode

  

第七部分：测试WordCount 程序 

测试WordCount 程序

?hadoop fs –mkdir input

?hadoop fs –put test.txt input

?hadoop jar  hadoop-examples-*.jar   wordcount  input output

 文章内容来自http://sishuok.com，转载请说明出处

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29361362/viewspace-1069892/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29361362/viewspace-1069892/