HDFS 高可用的环境搭建

已于 2024-04-24 16:17:23 修改
阅读量2.4k 收藏 8
点赞数 4
文章标签： hdfs hadoop 大数据
于 2023-05-16 19:39:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37658639/article/details/130676931
版权

目录

1.集群规划

２.文件配置

3.启动集群

4.查看集群

 在开始Hadoop集群的HDFS高可用环境搭建之前，需要完成zookeeper搭建工作。

1.集群规划

节点

NameNode

DataNode

ResourceManager

NodeManager

JournalNode

ZKFC

QuorumPeerMain

master

√

√

√

√

√

√

√

slave1

√

√

√

√

√

√

slave2

√

√

√

√

集群规划完成后，既可以开始搭建HDFS HA集群环境。

２.文件配置

　　Hadoop的相关配置文件主要包括core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和workers这５个文件，下面依次介绍每个文件的配置内容。

       （1） 配置core-site.xml。

        注意：如果打开的文件是一个空白文件，说明是新建了该文件，不保存退出，检查路径或文件名是否有错

[root@master ～]# cd /opt/module/hadoop-3.1.3/etc/hadoop/
[root@master hadoop]# vi core-site.xml

        <configuration>
        <!-- 指定HDFS的nameservice为ns -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ns</value>
        </property>
        <!-- 指定Hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-3.1.3/tmp</value>
        </property>

  <!-- 指定zookeeper地址 -->

　　<property>
       <name>ha.zookeeper.quorum</name>
       <value>master:2181,slave1:2181,slave2:2181</value>
     </property>
        </configuration>

    （2）  配置hdfs-site.xml。

[root@master hadoop]# vi hdfs-site.xml

<configuration>   

<!-- 指定HDFS副本的数量 -->
        <property>
                   <name>dfs.replication</name>
                   <value>3</value>
        </property>

<!-- 指定HDFS的nameservice为ns,要与core-site.xml文件配置内容一致-->

      <property>
        <name>dfs.nameservices</name>
        <value>ns</value>
    </property>
    <!-- 集群中NameNode节点名称 -->
    <property>
        <name>dfs.ha.namenodes.ns</name>
        <value>nn1,nn2</value>
    </property>
<!-- nn1的RPC通信地址 -->

<property>
      <name>dfs.namenode.rpc-address.ns.nn1</name>
      <value>master:9000</value>
    </property>
    <!-- nn2的RPC通信地址 -->
    <property>
      <name>dfs.namenode.rpc-address.ns.nn2</name>
      <value>slave1:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>master:50070</value>
    </property>

<!-- nn2的http通信地址 -->
    <property>
          <name>dfs.namenode.http-address.ns.nn2</name>
          <value>slave1:50070</value>
    </property>
    <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
    <property>
          <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://master:8485;slave1:8485;slave2:8485/ns</value>
    </property>

    <!-- 开启NameNode故障时自动切换 -->

<property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
    </property>

    <!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
    <property>
          <name>dfs.client.failover.proxy.provider.ns</name>
         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
<property>
          <name>dfs.ha.fencing.methods</name>
          <value>sshfence</value>
    </property>
    <!-- 使用隔离机制时需要ssh无秘钥登录-->
    <property>
          <name>dfs.ha.fencing.ssh.private-key-files</name>
          <value>/root/.ssh/id_rsa</value>
    </property>
    <!-- 声明journalnode服务器存储目录-->
    <property>
          <name>dfs.journalnode.edits.dir</name>
          <value>/opt/module/hadoop-3.1.3/ha/journal</value>
    </property>
<!-- 关闭权限检查-->
        <property>
               <name>dfs.permissinos.enabled</name>
               <value>false</value>
        </property>

 </configuration>

 （3）配置yarn-site.xml。

[root@master hadoop]# vi yarn-site.xml

  <configuration>
        <!-- Reducer获取数据的方式 -->
        <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
                  <name>yarn.resourcemanager.hostname</name>
                   <value>master</value>
        </property>

     <property>
                  <name>yarn.log-aggregation-enable</name>
                   <value>true</value>
        </property>
    </configuration>

（4） 配置mapred-site.xml。

[root@master hadoop]# vi mapred-site.xml

        <configuration>
                <!-- 指定MR运行在Yarn上 -->
                <property>
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
                </property>

              <property>
                        <name>mapreduce.jobhistory.address</name>
                        <value>master:10020</value>
                </property>
                <property>
                        <name>mapreduce.jobhistory.webapp.address</name>
                        <value>master:19888</value>
                </property>
        </configuration>

[root@master hadoop]# vi workers

（5）配置workers文件。打开该配置文件，然后配置以下内容：

        master
　　slave1
　　slave2

        该文件中写入哪个主机名，哪个主机就会存在datanode节点。

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

（6）定义root用户操作hdfs namenode等，将以下内容写入配置文件profile末尾，并让修改后的文件生效。

[root@master ~]# vi /etc/profile
[root@master ~]# source /etc/profile

      export HDFS_NAMENODE_USER=root
      export HDFS_DATANODE_USER=root
      export HDFS_SECONDARYNAMENODE_USER=root
      export YARN_RESOURCEMANAGER_USER=root
      export YARN_NODEMANAGER_USER=root

     export HDFS_ZKFC_USER=root
     export HDFS_JOURNALNODE_USER=root

（7）使用scp命令将配置好的hadoop和/etc/profile文件分发到slave1和slave2节点。

[root@master hadoop]# cd ..
[root@master etc]# scp -r hadoop slave1:/opt/module/hadoop-3.1.3/etc/
[root@master etc]# scp -r hadoop slave2:/opt/module/hadoop-3.1.3/etc/
[root@master etc]# scp  /etc/profile slave1:/etc/
[root@master etc]# scp  /etc/profile slave2:/etc/
[root@master etc]# source  /etc/profile 

[root@slave1 etc]# source  /etc/profile 
[root@slave2 etc]# source  /etc/profile

3.启动集群

  (1) 启动ZooKeeper

    分别在master、slave1和slave2节点输入以下命令。

[root@master ~]# zkServer.sh start

  如果显示一个leader和两个follower,则表示zookeeper启动成功。

 (2)  启动JournalNode

    分别在master、slave1和slave2节点输入以下命令。

[root@master ~]# hadoop-daemons.sh start journalnode

  输入jps.sh脚本命令，查看节点启动情况。

   （3）格式化HDFS

     删除mater、slave1和slave2安装目录下tmp、log和ha文件夹。

[root@master ~]# cd /opt/module/hadoop-3.1.3/
[root@master hadoop-3.1.3]# ls
append.txt  include      logs        share
bin         lib          NOTICE.txt  tmp
etc         libexec      README.txt  sbin
ha          LICENSE.txt
[root@master hadoop-3.1.3]# rm -rf tmp   
[root@master hadoop-3.1.3]# rm -rf logs
[root@master hadoop-3.1.3]# rm -rf ha       
[root@slave1 ~]# cd /opt/module/hadoop-3.1.3/
[root@slave1 hadoop-3.1.3]# ls
append.txt  include      logs        share
bin         lib          NOTICE.txt  tmp
etc         libexec      README.txt  sbin
ha          LICENSE.txt
[root@slave1 hadoop-3.1.3]# rm -rf tmp   
[root@slave1 hadoop-3.1.3]# rm -rf logs
[root@slave1 hadoop-3.1.3]# rm -rf ha 
[root@slave2 ~]# cd /opt/module/hadoop-3.1.3/
[root@slave2 hadoop-3.1.3]# ls
append.txt  include      logs        share
bin         lib          NOTICE.txt  tmp
etc         libexec      README.txt  sbin
ha          LICENSE.txt
[root@slave2 hadoop-3.1.3]# rm -rf tmp   
[root@slave2 hadoop-3.1.3]# rm -rf logs
[root@slave2 hadoop-3.1.3]# rm -rf ha

   

[root@master hadoop-3.1.3]# hdfs namenode -format

        输入对应命令后，若出现图4-1所示标志，说明NameNode格式化成功。

  图3-1 格式化NameNode成功界面

为了slave1和master主机NameNode保持一致，需要将master主机上hadoop-3.1.3目录下的tmp文件夹分发给slave1

[root@master hadoop-3.1.3]# scp -r tmp slave1:/opt/module/hadoop-3.1.3/

(4) 格式化ZKFC

[root@master hadoop-3.1.3]# hdfs zkfc -formatZK

  (5) 整体启动hdfs和yarn。

[root@master hadoop-3.1.3]# start-dfs.sh
[root@master hadoop-3.1.3]# start-yarn.sh

         输入jps命令，查看主机节点启动情况。

[root@master hadoop-3.1.3]# jps.sh
**********master**********
14192 NameNode
14357 DataNode
14806 DFSZKFailoverController
13752 JournalNode
15144 NodeManager
13450 QuorumPeerMain
14989 ResourceManager
15503 Jps
**********slave1**********
7971 JournalNode
7829 QuorumPeerMain
8696 DFSZKFailoverController
8936 Jps
8793 NodeManager
8395 NameNode
8491 DataNode
**********slave2**********
13424 QuorumPeerMain
14259 NodeManager
14391 Jps
14072 DataNode
13657 JournalNode
[root@master hadoop-3.1.3]#

        若需关闭集群，在主机上输入相应关闭的命令。启动集群是先hdfs后yarn，关闭集群是先yarn后hdfs。

4.查看集群

若要配置yarn ha 环境，只需要在hdfs ha基础上，更改yarn-site.xml文件。

<configuration>
<!-- Reducer获取数据的方式 -->
        <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
        </property>
       <!-- 开启YARN HA -->
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
    </property>
     <!-- 指定YARN HA的名称 -->
     <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>RM_CLUSTER</value>
     </property>
         <!-- 指定两个resourcemanager的名称 -->
     <property>
         <name>yarn.resourcemanager.ha.rm-ids</name>
         <value>rm1,rm2</value>
      </property>

     <!-- 配置rm1，rm2的主机 -->
        <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
     </property>
         <property>
         <name>yarn.resourcemanager.hostname.rm2</name>
         <value>slave1</value>
       </property>

       <!-- 配置YARN的http端口 -->
          <property>
          <name>yarn.resourcemanager.webapp.address.rm1</name>
          <value>master:8088</value>
          </property>
        <property>
      <name>yarn.resourcemanager.webapp.address.rm2</name>
          <value>slave1:8088</value>
       </property>

<!-- 配置zookeeper的地址 -->
<property>

     <name>yarn.resourcemanager.zk-address</name>
      <value>master:2181,slave1:2181,slave2:2181</value>
</property>


<!-- 开启yarn resourcemanager restart -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>

<!-- 配置resourcemanager的状态存储到zookeeper中 -->
   <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
        <property>
                  <name>yarn.log-aggregation-enable</name>
                   <value>true</value>
        </property>
</configuration>

再将更改后的yarn-site.xml文件分发给slave1和slave2。

EsmeZhao
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
HDFS高可用群集HA搭建
woailyoo0000的博客
01-07 308
一 .群集架构 二.群集规划 namenode datanode journalnode zkfc zookeeper bigdata01 yes yes yes yes bigdata02 yes yes yes yes yes bigdata03 yes yes yes yes 针对HDFS的HA群集，只需要启动HDFS相关的进程就可以了，YARN的相关进程可以不启动，它们两个的进程本来就是相互独立的。 在HDFS的HA群集中，
HDFS伪分布式环境搭建
qdwd888的博客
04-27 267
非常巨大的分布式文件系统 运行在普通廉价的硬件上 易扩展、为用户提供性能不错的文件存储服务 [](()[HDFS官方文档地址](() [](()2 HDFS架构 ====================================================================== HDFS是主/从式的架构。一个HDFS集群会有一个NameNode（简称NN），也就是命名节点，该节点作为主服务器存在（master server）. NameNode用于管理文件系统的命..
2024年大数据最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建，快速从入门到精通
2401_84183033的博客
05-09 1393
修改完成之后记得使用命令source /etc/profile，使修改生效。
HDFS完全分布式集群搭建与配置
Aricya的博客
11-09 4188
(1)防火墙设置:为了防止发生一些奇奇怪怪的错误，请务必关闭所有节点的防火墙，他可能会导致浏览器无法获取集群信息和文件上传集群失败环境搭建，还有通过.start-dfs.sh命令启动集群失败的很大一个原因就是服务器防火墙未关闭的原因。(2)hosts文件配置和主机名:因为这是完全分布式的集群，所以配置hosts文件至关重要，不然你的私钥配置和以后节点的格式化都会出错，他将会提示你无法解析主机名.(3)将配置好的HDFS拷贝到其他节点时注意路径问题。
Hadoop集群部署【一】HDFS详细介绍以及HDFS集群环境部署【hadoop组件HDFS笔记】（图片均为学习时截取的）
最新发布
qq_65231448的博客
06-29 1181
HDFS是Hadoop三大组件(HDFS、MapReduce、YARN)之一 全称是：Hadoop Distributed File System（Hadoop分布式文件系统）；是Hadoop技术栈内提供的分布式数据存储解决方案 可以在多台服务器上构建存储集群，存储海量的数据。HDFS系统的主角色，是一个独立的进程 负责管理HDFS整个文件系统 负责管理DataNode。workers： 配置从节点（DataNode）有哪些。
大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署
木子一个Lee的博客
02-17 2813
普通用户下大部分命令需要加sudo，root模式下不用。如果怕麻烦，直接在root用户下操作。本框架的分布式集群如下图所示(IP地址不一定跟图中一样)
HADOOP集群搭建， HDFS简易配置
m0_56369204的博客
06-25 1623
注意： hdfs://192.168.70.100:9000 ip需修改为你自己的。HADOOP在多计算机集群环境中营造一个统一而稳定的存储和计算环境。IPADDR=192.168.70.100 这里修改为你的ip。GATEWAY=192.168.70.2 这里修改为你的网关。注意：如果想root用户启动，需在配置文件添加如下内容。把bootproto改为static。ip和网关可以在如下地方查看。访问web端也是正常打开。后续依然要source。在最下面加入如下内容。
HDFS集群搭建
qq_37436172的博客
05-05 956
在已经启动单机版hdfs的基础上进行 1.准备三台虚拟机（以完成网络配置，主机名配置，主机域名映射,防火墙关闭并关闭重启，ssh免密，安装JDK等等） 2.在node01上安装Hadoop，配置环境变量（修改和配置一些文件，修改时一定小心错一个字母就会失败。） 3.同步配置信息（把在node01上修改的配置文件同步到node02和node03上） 4.在node01上格式化，并启动集群。 5.用jps查看启动情况，并测试上传下载是否能成功。在web端查看
2.HDFS介绍、HDFS完全分布式搭建
m0_63953077的博客
03-04 797
HDFS介绍、HDFS完全分布式搭建
hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx
05-11
在搭建Hadoop 2.5.2环境的过程中，我们需要经历几个关键步骤，包括本地模式、伪分布式集群和分布式集群的设置，以及HDFS系统的高可用性配置。首先，确保你的系统已经安装了JDK 1.8，因为Hive等组件需要1.7以上的版本...
hadoop&hbase;高可用测试环境搭建
09-11
以上就是关于Hadoop和HBase高可用测试环境搭建的详细过程和知识点。请根据提供的"hadop环境搭建"文件进一步参照执行，确保每个步骤都准确无误。在实际操作中，如有疑问，应查阅官方文档或相关社区资源，以确保搭建...
Hadoop高可用环境搭建文档.doc
02-02
"Hadoop高可用环境搭建文档" 本文档主要讲解了如何搭建高可用的Hadoop环境，包括分布式环境搭建、NameNode高可用、ResourceManager高可用集群运行服务规划等内容。 首先，需要在每台机器上安装Hadoop，使用完全...
hive环境搭建
01-20
在IT领域，特别是大数据处理和分析中，Apache Hive是一个非常重要的工具。Hive提供了一个SQL-like接口来查询和管理大规模的数据存储在...在实际应用中，可能还需要考虑其他因素，如安全性、性能优化和高可用性等。
Hadoop3以及高可用HA搭建方式.zip
07-10
搭建Hadoop3的高可用HA环境涉及以下步骤： 1. **环境准备**：安装Java运行环境，配置好主机名和IP映射，安装ZooKeeper服务，用于协调NameNode的状态切换。 2. **下载和解压Hadoop**：获取Hadoop3的安装包，将其...
失眠大数据专家，手把手带你玩转大数据，HDFS三种搭建方式
2401_83384536的博客
03-19 937
② 在node01节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01。① 在node02节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01。① 所有节点执行 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa。① 创建目录 hdfs dfs -mkdir -p /user/root。
大数据从入门到精通(超详细版)之HDFS安装部署 , 跟着部署 , 真的有手就行 !
tyuiop321的博客
09-06 1220
前面我们已经介绍了HDFS的入门知识与原理，对HDFS的使用场景已经有了一个初步的认识，现在我们开始动手实操HDFS的安装吧，HDFS安装好了，对后续学习大数据的其他组件也起到一个铺垫作用。
Hadoop环境搭建
美国梦中国心
06-29 6594
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
HDFS集群环境部署(超级详细！！)
热门推荐
菜菜的博客
11-02 1万+
对于更大规模的生产环境，可能需要考虑完全分布式模式，该模式涉及到在多台主机上部署Hadoop集群，并实现真正的分布式存储和计算
HDFS高可用集群搭建
12-08
以下是HDFS高可用集群搭建的步骤： 1. 部署三台虚拟机，分别为NameNode1、NameNode2和DataNode。 2. 在三台虚拟机上安装Java环境和Hadoop软件。 3. 修改hadoop-env.sh文件，设置JAVA_HOME环境变量。 4. 修改core-site.xml文件，设置Hadoop的默认文件系统为HDFS，并设置NameNode的RPC地址。 5. 修改hdfs-site.xml文件，设置NameNode1和NameNode2的RPC地址、HTTP地址、NameNode数据目录、SecondaryNameNode地址和DataNode数据目录。 6. 在NameNode1和NameNode2上创建共享存储目录，用于存储NameNode的元数据。 7. 在NameNode1和NameNode2上启动JournalNode服务，用于存储NameNode的编辑日志。 8. 在NameNode1和NameNode2上启动NameNode服务，并将其中一个NameNode设置为Active状态，另一个设置为Standby状态。 9. 在DataNode上启动DataNode服务，将其注册到Active状态的NameNode和Standby状态的NameNode上。 10. 测试HDFS高可用集群的功能，包括上传、下载、删除文件等操作。 ```shell # 以下是具体的命令示例： # 启动JournalNode服务 hadoop-daemon.sh start journalnode # 启动NameNode服务 hadoop-daemon.sh start namenode # 格式化NameNode hdfs namenode -format # 启动DataNode服务 hadoop-daemon.sh start datanode # 查看HDFS状态 hdfs dfsadmin -report ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值