简单HDFS使用Journalnode HA部署

最新推荐文章于 2024-07-24 17:25:05 发布

gao634209276

最新推荐文章于 2024-07-24 17:25:05 发布

阅读量6.6k

点赞数

分类专栏： hadoop2.x hdfs 文章标签： hadoop hdfs HA

本文链接：https://blog.csdn.net/gao634209276/article/details/51444572

版权

本文介绍了在已有的Hadoop集群上，如何通过配置Journalnode实现HDFS的NameNode高可用。主要涉及Hadoop的HDFS部分，不涉及Yarn、Zookeeper等其他组件。在节点hadoop、hadoop1、hadoop2中，将hadoop1和hadoop2设置为Active和Standby状态，并依赖Journalnode进行数据共享。启动过程中需要注意Journalnode的日志错误，确保服务正常运行。通过手动切换，可以在Active节点上执行HDFS命令和启动DataNode，在另一节点上启动Yarn。

摘要由CSDN通过智能技术生成

基于之前hadoop集群,实验Journal共享实现namenode的高可用,本篇只配置Hadoop的HDFS,其他Yarn,zookeeper,等均不关系.

节点hadoop,hadoop1,hadoop2,之前的集群namenode为hadoop,这里设置hadoop1,和hadoop2为Active和Standby NN,并使用JournalNode实现共享

在集群基础上改变一下内容

hadoop@hadoop:~$ cd /opt/ha/hadoop-2.7.2/
hadoop@hadoop:hadoop-2.7.2$ gedit etc/hadoop/core-site.xml 
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/ha/hadoop-2.7.2/data/tmp</value>
    </property>

hadoop@hadoop:hadoop-2.7.2$ gedit etc/hadoop/hdfs-site.xml 

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/ha/hadoop-2.7.2/data/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/ha/hadoop-2.7.2/data/dfs/data</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    
    <property>
        <name>dfs.nameservices</name>
        <value>cluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.cluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster.nn1</name>
        <value>hadoop1:9000</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster.nn2</name>
        <value>hadoop2:9000</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.cluster.nn1</name>
        <value>hadoop1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.cluster.nn2</name>
        <value>