Hadoop实战-中高级部分 之 Hadoop 集群安装

第一部分:环境规划
•用户 test 密码 test
•机器
   主机名 IP 角色
bigdata-1
 
172.16.206.205
NameNode JobTraker
Sencondary NameNode
bigdata-2
 
172.16.206.231 DataNode TaskTracker
•NameNode元数据目录
•/home/test/dfs/namenode
•DataNode 数据存放目录
•/home/test/dfs/datanode
•Sencondary NameNode
•/home/test/dfs/sencondnode
            
           
第二部分:安装JDK并配置环境变量
安装  JDK 并配置环境变量
 
•2 台机器做同样的事情
•更改执行权限
•chmod +x jdk-6u24-linux-i586.bin
•安装
•./jdk-6u24-linux-i586.bin
•配置环境变量
•Home路径下,打开.bashrc文件,命令如下
•vi .bashrc
•添加JAVA环境变量
•export JAVA_HOME=/home/hadoop/java
•export PATH=$JAVA_HOME/bin:$PATH
 
 
第三部分:建立互信配置SSH
配置互信
每台机器上执行
$ ssh-keygen
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata  -1
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2
             
      
第四部分:安装Hadoop并配置环境变量
安装并配置Hadoop的环境变量
•解压Hadoop,到/home/test路径下
• tar zxvf hadoop-1.0.0.tar.gz
•建立软连接
•ln –s   hadoop-1.0.0  hadoop
•配置环境变量
•vi  .bashrc
•添加如下内容
          export HADOOP_CORE_HOME=/home/test/ hadoop
          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH
 
 
第五部分:配置Hadoop集群
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://bigdata-1:9000</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
        <value>/home/test/dfs/sencondnode</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
            <name>dfs.name.dir</name>
     <value>/home/test/dfs/namenode </value>
</property>
<property>
             <name>dfs.data.dir</name>
             <value> >/home/test/dfs/datanode</value>
</property>
<property>
      <name>dfs.replication</name>
        <value>1</value>
</property>
</configuration>
  
mapred-site.xml
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>bigdata-1:9001</value>
</property>
</configuration>
master与slaves
•master
     文件添加内容如下
                   bigdata-1
•    Slaves
     文件添加内容如下
                    bigdata-2
Hadoop-env.sh
•export JAVA_HOME=/home/tes/soft/java
 
第六部分:启动Hadoop集群
启动Hadoop集群
•hadoop namenode -format
•start-all.sh
•start-dfs.sh start-mapred.sh
•hadoop-deamon.sh start  namenode
                                              datanode
                                              jobtracker
                                              tasktracker
                                              sencondnamenode
  
第七部分:测试WordCount 程序 
测试WordCount 程序
•hadoop fs –mkdir input
•hadoop fs –put test.txt input
•hadoop jar  hadoop-examples-*.jar   wordcount  input output
 

转载请注明出处【    http://sishuok.com/forum/blogPost/list/0/5969.html 】
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值