Hadoop HDFS Federation 配置

最新推荐文章于 2024-06-26 11:31:51 发布

weixin_33815613

最新推荐文章于 2024-06-26 11:31:51 发布

阅读量222

点赞数

文章标签：大数据开发工具

原文链接：http://blog.51cto.com/flyfish225/2096432

版权

一：系统环境配置
二：编辑改变hadoop 的配置文件
三: 启动服务节点：
四:HDFS Federation环境测试

一：系统环境配置：

  承接 在上文档hadoop 分布式的文档进行部署

二：编辑改变hadoop 的配置文件

   编辑core-site.xml 文件：
   master.hadop.com 的core-site 文件配置
   vim core-site.xml

<property>
      <name>fs.defaultFS</name>
      <value>hdfs://master.hadoop.com:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/yangyang/hadoop/data</value>
</property> 
</configuration>
slave1.hadoop.com 的core-site.xml 文件配置
<configuration>
<property>
      <name>fs.defaultFS</name>
      <value>hdfs://slave1.hadoop.com:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/yangyang/hadoop/data</value>
</property>
</configuration>
slave2.hadoop.com 的core-site.xml 文件配置：
<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/yangyang/hadoop/data</value>
</property>
</configuration>

编辑hdfs-site.xml 文件：

<configuration>
<property>
       <name>dfs.replication</name>
       <value>3</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>ns1,ns2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns1</name>
        <value>master.hadoop.com:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns1</name>
        <value>master.hadoop.com:50070</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns2</name>
        <value>slave1.hadoop.com:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns2</name>
        <value>slave1.hadoop.com:50070</value>
    </property> 
</configuration>

三:启动服务节点：

格式化HDFS 节点处理
 master.hadoop.com
cd /home/hadoop/yangyang/hadoop/
bin/hdfs namenode –format –clusterID hdfs-cluster

1.png-144.1kB

slave1.hadoop.com
cd /home/hadoop/yangyang/hadoop/
bin/hdfs namenode –format –clusterID hdfs-cluster

2.png-113.1kB

启动namenode.hadoop.com与slave1.hadoop.com
节点上的namenode 
master.hadoop.com
./hadoop-daemon.sh start namenode

3.png-14.4kB

slave1.hadoop.com
./hadoop-daemon.sh start namenode

4.png-16.5kB

启动所有节点的datanonde
./hadoop-daemon.sh start datanode 
master.hadoop.com

5.png-30.6kB

slave1.hadoop.com

6.png-22.5kB

slave2.hadoop.com

7.png-19kB
打开浏览器：
master.hadoop.com
8.png-39.7kB
9.png-39.5kB
slave1.hadoop.com
10.png-37.3kB
11.png-34.7kB
###四： HDFS Fedeation 的测试
在maser.hadoop.com 节点上去HDFS创建一个文件
12.png-4.5kB
在slave1.hadoop.com 去hdfs 上创建文件
13.png-11.8kB
打开浏览器查看：
master.hadoop.com
14.png-12.8kB
slave1.hadoop.com
15.png-14.6kB