构建Hadoop HA 集群 hadoop 2.7.2 版本

最新推荐文章于 2022-11-14 14:42:25 发布
最新推荐文章于 2022-11-14 14:42:25 发布
阅读量673 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop HA 2-7 高可用 hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xinganshenguang/article/details/53286548
版权
本文档详细记录了如何使用4台虚拟机搭建Hadoop 2.7.2高可用(HA)集群，包括添加用户、修改hostname、SSH配置、JDK和Zookeeper安装、Hadoop配置以及集群启动和HA主备切换的步骤。
摘要由CSDN通过智能技术生成

向公司申请了4台虚拟机，搭建了一个测试hadoop集群.
Centos 7 64位操作系统
llc1 10.1.5.10
llc2 10.1.5.11
llc3 10.1.5.12
llcf 10.1.5.13

hadoop1 hadoop2 做namenode 主备

机器名 ip地址 安装软件 运行的进程
llc1 10.1.5.10 jdk hadoop zookeeper hbase
llc2 10.1.5.11 jdk hadoop zookeeper hbase
llc3 10.1.5.12 jdk hadoop zookeeper hbase
llcf 10.1.5.13 jdk hadoop hbase

1.添加hadoop用户
adduser -m hadoop -s /bin/bash
passwd hadoop
visudo
这样会打开/etc/sudoers 并进行编辑
hadoop ALL=(ALL) ALL

修改/data目录权限 所有者
sudo chown -R hadoop:hadoop /data

2.修改 hostname
vim /etc/hosts

3.ssh
参考我的另一篇文章 SHH免密码登录

安装JDK 安装目录在/data/hadoop1 参考非root用户安装JDK 在其他节点重复安装操作

安装zookeeper 安装目录 /data/hadoop1 参考zookeeper集群实践

安装hadoop
(1)解压缩
hadoop包解压缩到/data/hadoop1目录下
tar -zxvf hadoop-2.7.2.tar.gz
(2)修改环境变量
vi ~/.bashrc

export JAVA_HOME=/data/hadoop1/jdk1.8.0_05
export ZOOKEEPER_HOME=/data/hadoop1/zookeeper-3.4.6
export HADOOP_HOME=/data/hadoop1/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

source ~/.bashrc
(3)修改配置文件
vim $HADOOP_HOME/etc/hadoop/slaves

llc1
llc2
llc3
llcf

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/data/hadoop1/jdk1.8.0_05

vim $HADOOP_HOME/etc/hadoop/yarn-env.sh

export JAVA_HOME=/data/hadoop1/jdk1.8.0_05

vim $HADOOP_HOME/etc/hadoop/core-site.xml

   <property> 
   <!-- 指定hdfs的nameservice为cluster  -->
        <name>fs.defaultFS</name>  
        <value>hdfs://cluster</value> 
   </property>
    <property> 
         <!-- 指定hadoop的tmp目录  -->
          <name>hadoop.tmp.dir</name> 
          <value>/data/hadoop1/hadoop-2.7.2/tmp/</value> 
    </property> 
    <property> 
      <!-- 指定zookeeper地址  -->
        <name>ha.zookeeper.quorum</name> 
        <value>llc1:2181,llc2:2181,llc3:2181</value> 
    </property>
    <property> 
           <name>dfs.ha.fencing.methods</name> 
           <value>sshfence</value> 
    </property>
    <property> 
           <name>dfs.ha.fencing.ssh.private-key-files</name> 
           <value>~/.ssh/id_rsa</value> 
    </property>

vim HADOOP_HOME/etc/hadoop/hdfs-site.xml

 <property> 
      <!-- 指定的hdfs的nameserice为cluster，与core-site.xml保持一致  -->
                <name>dfs.nameservices</name> 
                <value>cluster</value> 
        </property>
         <property>
        <!-- cluster下有两个NameNode分别是master1和master2 -->
                <name>dfs.ha.namenodes.cluster</name> 
                <value>hadoop0,hadoop1</value> 
        </property>
        <property> 
                 <!--  master1的RPC通信地址-->
                <name>dfs.namenode.rpc-address.cluster.hadoop0</name> 
                <value>llc1:8020</value> 
        </property> 
        <property> 
         <!--  master2的RPC通信地址-->
                <name>dfs.namenode.rpc-address.cluster.hadoop1</name> 
                <value>llc2:8020</value> 
        </property>
         <property> 
                  <!-- 监控网页 -->
                <name>dfs.namenode.http-address.cluster.hadoop0</name> 
                <value>llc1:50070</value> 
        </property> 
        <property> 
                <name>dfs.namenode.http-address.cluster.hadoop1</name> 
                <value>llc2:50070</value> 
        </property>
        <property> 
                         <name>dfs.namenode.servicerpc-address.cluster.hadoop0</name> 
                         <value>llc1:53333</value> 
                 </property> 
                 <property> 
                         <name>dfs.namenode.servicerpc-address.cluster.hadoop1</name> 
                         <value>llc2:53333</value> 
                 </property>
        <property> 
                <!-- 指定NameNode的元数据在JournalNode上的存储位置 -->
                                  <name>dfs.namenode.shared.edits.dir</name> 
                                  <value>qjournal://llc1:8485;llc2:8485;llc3:8485/cluster</value> 
                          </property> 
                          <property> 
                                  <name>dfs.client.failover.proxy.provider.cluster</name> 
                                  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
                          </property> 
         <property> 
                  <!-- 指定JournalNode在本地磁盘存放数据的位置  -->
                <name>dfs.journalnode.edits.dir</name> 
                <value>/data/hadoop1/hadoop-2.7.2/data/journal</value> 
        </property> 
        <property> 
         <!-- 备份数 -->
                <name>dfs.replication</name> 
                <value>3</value> 
        </property> 
        <property>   
                <name>dfs.namenode.name.dir</name>   
                <value>file:/data/hadoop1/hadoop-2.7.2/data/name</value>   
    </property>   
    <property>   <!--  -->
           <name>dfs.datanode.data.dir</name>   
            <value>file:/data/hadoop1/hadoop-2.7.2/data/data,/data/hadoop2/hadoop/data</value>   
    </property>   
    <property> <!-- 开启NameNode失败自动切换  -->
            <name>dfs.ha.automatic-failover.enabled</name> 
        <value>true</value> 
    </property> 
    <property>   
        <name>dfs.webhdfs.enabled</name>   
        <value>true</value> 
    </property>
     <property>  <!--注意这两个配置 不是所有节点都要开启的  在不需要的节点 不配置这两项就可以不启动-->
            <name>dfs.journalnode.http-address</name>   
            <value>0.0.0.0:8480</value>   
     </property>   
     <property>   
            <name>dfs.journalnode.rpc-address</name>   
            <value>0.0.0.0:8485</value>   
     </property> 
      <property>     
            <name>dfs.permissions</name>     
            <value>false</value>     
      </property>

修改 HADOOP_HOME/etc/hadoop/mapred−site.xml

<property> <!--  指定mapreduce框架为yarn方式 -->
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
    </property> 
  <property> 
            <name>mapreduce.jobtracker.address</name> 
              <value>llc1:50030</value> 
            </property>
              <property> 
                    <name>mapreduce.jobhistory.address</name> 
                      <value>llc1:10020</value> 
              </property> 
              <property> 
                        <name>mapreduce.jobhistory.webapp.address</name> 
                          <value>llc1:19888</value> 
 </property>

修改$HADOOP_HOME/etc/hadoop/yarn-site.xml

<property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>llc1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>llc2</value>
    </property>
    <property> <!-- 指定resourcemanager的 clusterid ,master2中需要该成rm2-->
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm1</value>
    </property>
    <property> <!-- 开启RM的高可靠-->
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property> 
    <property>   <!-- 开始NameNode失败自动切换-->
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property> 
        <name>yarn.resourcemanager.zk-address</name>
        <value>llc1:2181,llc2:2181,llc3:2181</value>
    </property>
    <property> 
          <name>yarn.resourcemanager.store.class</name> 
          <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
    </property> 
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn</value>
    </property> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
    </property>
  <property>
       <name>yarn.resourcemanager.address.rm1</name>
       <value>${yarn.resourcemanager.hostname.rm1}:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>${yarn.resourcemanager.hostname.rm1}:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.https.address.rm1</name>
        <value>${yarn.resourcemanager.hostname.rm1}:8089</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>${yarn.resourcemanager.hostname.rm1}:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>${yarn.resourcemanager.hostname.rm1}:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>${yarn.resourcemanager.hostname.rm1}:8033</value>
    </property>
    <property>
       <name>yarn.resourcemanager.address.rm2</name>
       <value>${yarn.resourcemanager.hostname.rm2}:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>${yarn.resourcemanager.hostname.rm2}:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.https.address.rm2</name>
        <value>${yarn.resourcemanager.hostname.rm2}:8089</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>${yarn.resourcemanager.hostname.rm2}:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>${yarn.resourcemanager.hostname.rm2}:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>${yarn.resourcemanager.hostname.rm2}:8033</value>
    </property>
 <property> 
    <name>yarn.web-proxy.address</name> 
      <value>llc1:8888</value> 
</property>

8.启动hadoop集群
(1)启动zookeeper集群
zkServer.sh start
(1 1/2)格式化zkfc
目的是在ZooKeeper集群上建立HA的相应节点。
在master1机器上执行命令
hdfszkfc−formatZK他会根据 HADOOP_HOME/etc/hadoop/core-site.xml文件中ha.zookeeper.quorum的值来进行初始化。

(2) 启动journalnode
hadoop-daemons.sh start journalnode
(3) 格式化namenode
hdfs namenode -format
（4）启动namenode
hadoop-daemon.sh start namenode
（5）.将刚才格式化的namenode信息同步到备用namenode上
在master2机器上执行命令
hdfs namenode -bootstrapStandby
(6)在master2上启动namenode
hadoop-daemon.sh start namenode
(7)启动所有datanode
在master1上执行命令
hadoop-daemons.sh start datanode
(8)启动yarn
在master1上执行命令
start-yarn.sh
（9）启动ZKFC
在master1和master2上启动zkfc
hadoop-daemon.sh start zkfc
会启动进程DFSZKFailoverController
(11) ha 主备切换
hdfs haadmin -failover hadoop1 hadoop0

YARN HA

备rm需要手动启动
启动，yarn-daemon.sh start resourcemanager
查看rm1 rm2 的状态
$ yarn rmadmin -getServiceState rm1
active

$ yarn rmadmin -getServiceState rm2
standby
使用如下的命令 可以将rm 手动切换到主备模式 但是如果已经开启了 rm自动切换 改命令将无效
yarn rmadmin -transitionToStandby rm1
访问http://hadoop0:8088/
展示的是active的页面
在备用机器上也启动resourcemanager.
访问http://haodoop1:8088/
展示的是standby的页面This is standby RM. Redirecting to the current active RM: http://trainingHadoop02:8088/cluster
然后会自动跳转到active的地址。
自动切换验证：
将active的机器的resourcemanager的进程kill掉。
standby的备用的机器变为active。

尝试了一下 把这个属性yarn.resourcemanager.ha.enabled 改成false yarn启动以后 没有active状态的 RM 需要用 yarn rmadmin -transitionToActive rm1 手动指定

安装hbase
另外发文补充

AI_skynet
关注
专栏目录
centos7 搭建ha(高可用)hadoop2.7.3集群
井桂印
06-29 3603
写在前面作为一个单体应用开发人员对于理解分布式应用和微服务的理论还可以。但是部署分布式环境来说还是一个挑战。最近在学习hadoop，正也把学习的东西分享出来，希望帮助感兴趣的人。 前面一章写了centos7搭建hadoop集群 再跟着做本章实验前建议初学者先去实验上一章的内容。有任何问题欢迎反馈，我也好做出修改。 ha(高可用)hadoop2.7.3集群,主要是为了消除spof(单点故障)，解
HadoopHA(高可用集群)2.7.2 原理及搭建
weixin_46122692的博客
10-16 345
一、介绍： 1、所谓HA（High Available），即高可用（7*24小时不中断服务） 2、实现高可用的关键是消除单点故障，即HDFS的nameNode和YARN的resourceManager，所以HA机制就是HDFS的HA和YARN的HA。 由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成，一旦NameNode节点宕机，那么HDFS将不能进行文件的上传与下载。 由于一个Yarn集群由一个ResourceManager节点和多个NodeManager节点组成，一旦
Hadoop2.7.3-HA 集群搭建（传智播客）
zzShine的专栏
01-07 2510
前期准备1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts 4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等集群规划主机名 IP 安装的软件 运行的进程 mini01 192.168.175.141 jdk、hadoop NameNod
hadoop记录篇4-mapreduce2(yarn)集群安装和ha高可用
weixin_30672019的博客
10-27 110
一。 yarn架构 mapreduce从 0.2.3之后 进行了重构， 发布新的mapreduce 版本v2， 也可以称为 yarn 引入了资源调度的概念 之前的JobTracker 被拆分成了 Resouce Manager和ApplicationMaster 结构上 yarn存在两种类型的节点 主节点称为Resouce Manager（RM） 从...
Hadoop+Zookeeper+NameNode(HA)+ResourceManager(HA)自动切换 配置
Nacey
10-22 5767
HDFS的NameNode的NameNode的HA配置 一，zookeeper的安装（略）。 启动Zookeeper。 二，Hadoop配置文件修改。 修改core-site.xml fs.defaultFS hdfs://myCluster 注意：myhadoop为集群的逻辑名，最好与hdfs-site.xml中的dfs.nameservices配置一致！否则在
Hadoop2.7.2之集群搭建（高可用）
热门推荐
_阿坤的博客
05-25 1万+
如果你还没有虚拟机，请参考：http://blog.csdn.net/uq_jin/article/details/51355124 如果你还没有试过单机模式，请参考：http://blog.csdn.net/uq_jin/article/details/51451995 如果你还没有试过集群模式，请参考：http://blog.csdn.net/uq_jin/article/details
Hadoop HA 高可用集群详解
m0_67390969的博客
09-02 340
HA（）即高可用（7*24小时不中断服务），实现高可用最关键的策略就是消除单点故障。HA严格地来说应该分成各个组件的HA机制，HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFSNameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用HDFS HA功能通过配置两个NameNodes实现在集群中对NameNode。
阿里云环境下搭建HadoopHA集群
weixin_44825085的博客
08-12 2157
阿里云环境下搭建HadoopHA集群 1. HadoopHA介绍 1.1 hadoop高可用集群的简介 ​ hadoop是一个海量数据存储和计算的平台，能够存储PB级以上的数据，并且利用MapReduce可以对这些数据进行并发式计算；hadoop平台采用的是主从式架构（master/slave）即一个master和若干个slave，这个master就是namenode节点，该节点负责存储和管理元数据、配置副本策略、管理数据块的映射信息以及处理客服端的读写请求，由此可见namenode节点的压力还是比较大；
Ha 高可用hadoop集群安装
最新发布
ENCCDY的博客
11-14 1005
2.7.3高可用hadoop集群安装
hadoop2.7.2HA集群安装
11-02
### Hadoop 2.7.2 HA集群安装详解 #### 一、概述 Hadoop是一个开源软件框架，用于分布式存储和处理大型数据集。本文档将详细介绍如何搭建一个Hadoop 2.7.2版本的高可用（High Availability，简称HA）集群。此集群...
hadoop2.7.2集群_centos7 环境搭建
09-15
本教程将详述如何在CentOS 7环境下搭建Hadoop 2.7.2集群，同时也会提及到Java开发工具集（JDK）8u144的安装，因为Hadoop运行需要Java环境的支持。 首先，我们需要了解Hadoop的基本概念。Hadoop是由Apache软件基金会...
hadoop-2.7.2.tar.gz
02-26
2. HA（High Availability）：Hadoop 2.7.2支持NameNode的高可用性，通过Active/Passive模式，确保即使主NameNode出现故障，系统也能无缝切换到备用NameNode，避免服务中断。 3. Federation：NameNode Federation...
hive与json：使用HDFS上的json格式数据建立hive表
xinganshenguang的博客
11-30 8040
1 下载对应版本的 jar包 http://mvnrepository.com/artifact/org.apache.hive.hcatalog/hive-hcatalog-coreadd jar /home/xxx/hive-hcatalog-core-2.1.0.jar2.创建表CREATE TABLE json_table(id bigint, sourceType int) ROW F
hive的dual表
xinganshenguang的博客
01-21 6467
dual表的概念来自oracle，数据库建立时即与数据字典一起初始化，该表只有一个varchar2类型名为dummy的字段，表数据只有一行“X”，用来查询一些系统信息， 如select sysdate from dual; select user from dual; select seq.nextval from dual等。 为了能在hive中测试一些时间、数学、聚合函数，可以仿照orac
hive查询数据导出到本地目录或hdfs的方法
xinganshenguang的博客
11-23 6005
一、导出到本地文件系统 　　 hive> insert overwrite local directory '/home/mydir/mydir' > select * from test; 　二、导出到HDFS中 hive> insert overwrite directory '/home/mydir/mydir' > select * from test;
HDFS负载均衡
xinganshenguang的博客
02-19 4227
HDFS负载平衡HDFS的数据可能并不总是被均匀的置于所有的DataNode中,最常见的原因是向一个已经存在的集群添加一个新的节点。 当放置新的块时(块：一个文件的数据会被存储为一系列的块)。NameNode 在选择DataNode节点存储这些块之前会考虑多方面参数。一些注意事项如下：策略保证一个块的其中之一个副本在同一个节点(这个节点是块写的节点) 需要将一个块的副本分配到不同的机架上 ，这样可
HDFS副本存放策略
xinganshenguang的博客
02-19 3618
第一个block副本放在和client所在的node里（如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上）。 第二个副本放置在与第一个节点不同的机架中的node中（随机选择）。 第三个副本和第二个在同一个机架，随机放在不同的node中。 如果还有更多的副本就随机放在集群的node里。 流水线复制 当客户端向 HDFS 文件写入数据的时候，一开始是写到本地临时文件中。
Hadoop 添加节点和删除节点
xinganshenguang的博客
02-19 3210
一。增加节点 1.解压hadoop程序，并把namnode的配置文件复制到配置文件目录下 2.修改namenode的slaves文件增加该节点 3.在该节点对ssh,hosts，jdk 进行配置，并修改所有节点的/etc/hosts增加该节点映射 4.在该节点启动Datanode和Nodemanager $HADOOP_HOME/sbin/hadoop-daemon.sh start d
JStorm安装
xinganshenguang的博客
10-09 967
因为工作需要，需要使用jstorm 现在把jstorm的安装过程和大家分享一下，我是参照https://github.com/alibaba/jstorm 上面和百度进行安装的. 安装jstorm前 需要安装jdk zookeeper  建议较新版本  我用的是3.4.6 参考其他日志，这里不再赘述 八台服务器  CentOS 7    1.python   python 需要至
Hadoop HA集群配置与ZooKeeper高可用实践
在构建Hadoop HA集群时，首先需要部署一个高可用的ZooKeeper集群，这是因为ZooKeeper负责监控和管理Hadoop集群的状态，包括NameNode的选举和切换，以及提供故障检测和恢复功能。 实验一：高可用ZooKeeper集群部署 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值