关闭

Hadoop实战-中高级部分 之 Hadoop 集群安装

238人阅读 评论(0) 收藏 举报
第一部分:环境规划
•用户 test 密码 test
•机器
   主机名 IP 角色
bigdata-1
 
172.16.206.205
NameNode JobTraker
Sencondary NameNode
bigdata-2
 
172.16.206.231 DataNode TaskTracker
•NameNode元数据目录
•/home/test/dfs/namenode
•DataNode 数据存放目录
•/home/test/dfs/datanode
•Sencondary NameNode
•/home/test/dfs/sencondnode
            
           
第二部分:安装JDK并配置环境变量
安装 JDK 并配置环境变量
 
•2 台机器做同样的事情
•更改执行权限
•chmod +x jdk-6u24-linux-i586.bin
•安装
•./jdk-6u24-linux-i586.bin
•配置环境变量
•Home路径下,打开.bashrc文件,命令如下
•vi .bashrc
•添加JAVA环境变量
•export JAVA_HOME=/home/hadoop/java
•export PATH=$JAVA_HOME/bin:$PATH
 
 
第三部分:建立互信配置SSH
配置互信
每台机器上执行
$ ssh-keygen
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2
             
      
第四部分:安装Hadoop并配置环境变量
安装并配置Hadoop的环境变量
•解压Hadoop,到/home/test路径下
• tar zxvf hadoop-1.0.0.tar.gz
•建立软连接
•ln –s   hadoop-1.0.0  hadoop
•配置环境变量
•vi  .bashrc
•添加如下内容
          export HADOOP_CORE_HOME=/home/test/ hadoop
          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH
 
 
第五部分:配置Hadoop集群
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://bigdata-1:9000</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
        <value>/home/test/dfs/sencondnode</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
            <name>dfs.name.dir</name>
     <value>/home/test/dfs/namenode </value>
</property>
<property>
             <name>dfs.data.dir</name>
             <value> >/home/test/dfs/datanode</value>
</property>
<property>
      <name>dfs.replication</name>
        <value>1</value>
</property>
</configuration>
  
mapred-site.xml
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>bigdata-1:9001</value>
</property>
</configuration>
master与slaves
•master
     文件添加内容如下
                   bigdata-1
•    Slaves
     文件添加内容如下
                    bigdata-2
Hadoop-env.sh
•export JAVA_HOME=/home/tes/soft/java
 
第六部分:启动Hadoop集群
启动Hadoop集群
•hadoop namenode -format
•start-all.sh
•start-dfs.sh start-mapred.sh
•hadoop-deamon.sh start  namenode
                                              datanode
                                              jobtracker
                                              tasktracker
                                              sencondnamenode
  
第七部分:测试WordCount 程序 
测试WordCount 程序
•hadoop fs –mkdir input
•hadoop fs –put test.txt input
•hadoop jar  hadoop-examples-*.jar   wordcount  input output
 

转载请注明出处【   http://sishuok.com/forum/blogPost/list/0/5969.html 】
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:2383次
    • 积分:119
    • 等级:
    • 排名:千里之外
    • 原创:10篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章存档