Apache Hadoop HA集群环境搭建

最新推荐文章于 2023-12-20 14:57:13 发布
最新推荐文章于 2023-12-20 14:57:13 发布
阅读量207 收藏 3
点赞数 1
分类专栏： # Apache Hadoop 文章标签： Hadoop HA 高可用集群搭建 2.7.6
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33713328/article/details/88857465
版权

NameNode 做了HA，ResourceManager也做了HA

1.HA集群节点概览

电脑配置不够，所以NameNode所在节点上装了DataNode,实际开发搭建的话，NameNode所在节点上不要放DataNode

注意：此处不说zookeeper的部分，上篇文章 https://blog.csdn.net/qq_33713328/article/details/88854991 已经讲解zookeeper集群的内容，此处直接使用。

节点IP节点主机名应用
192.168.183.81mycat01NameNode, NodeManager,JournalNode,DataNode,ZKFC,Zookeeper
192.168.183.82mycat02NameNode, NodeManager,JournalNode,DataNode,ZKFC,Zookeeper
192.168.183.83mycat03ResourceManager, NodeManager,JournalNode,DataNode,Zookeeper
192.168.183.84mycat04ResourceManager, NodeManager,DataNode
2.版本说明

Hadoop版本：Apache Hadoop 2.7.6

ZooKeeper版本：Apache Zookeeper 3.4.13 (在上篇集群环境搭建中已经说明)

3.下载（Hadoop）

  1. wget http://archive.apache.org/dist/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz (Apache官网)

  2. wget http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz （华中科技大学镜像源）

3）其他版本可以选择：http://mirrors.hust.edu.cn/apache/hadoop/core/

4.解压缩并修改配置

首先，先把压缩包放到mycat01上（随便取一台—最好能都免密到其他机器）,修改文件所有者和所属组，并给所有者添加执行权限。

sudo chmod u+x hadoop-2.7.6.tar.gz
sudo chown hadoop:hadoop hadoop-2.7.6.tar.gz
[hadoop@mycat01 ~]$ tar -zxvf hadoop-2.7.6.tar.gz    # 我的直接在家目录下解压

切换到配置文件目录开始修改配置文件：

cd /home/hadoop/hadoop-2.7.6/etc/hadoop
1）修配hadoop-env.sh (这里只配置JAVA_HOME,需要设置JVM参数可绕道百度或根据提示修改)
[hadoop@mycat01 hadoop]$ vim hadoop-env.sh

修改如下：

# 修改下面一项即可，需要注意的是，即便你配置了JAVA_HOME到PATH中，这里还是需要明确全路径的
export JAVA_HOME=/opt/jdk1.8.0_73
2）修改core-site.xml
[hadoop@mycat01 hadoop]$ vim core-site.xml

修改如下：（configuration标签内部的内容）

<!-- 指定 hdfs 的访问入口 命名空间 组名 通过组名hdfs://命名空间/ mkmg相当于命名空间 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mkmg/</value>   <!-- 此处的mkmg是我自己命名的，即名称空间 -->
</property>

<!-- 指定 hadoop 工作目录namenode和datanode的目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata/</value>
</property>

<!-- 指定 zookeeper 集群访问地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>mycat01:2181,mycat02:2181,mycat03:2181</value>
</property>
3）修改hdfs-site.xml
[hadoop@mycat01 hadoop]$ vim hdfs-site.xml

修改如下：下面所有属性中的 mkmg 都是我上面再core-site.xml中配置的名称空间

<!-- 指定副本数 -->
<property>
 <name>dfs.replication</name>
 <value>3</value>
</property>

<!--指定 hdfs 的 nameservice 为 mkmg，需要和 core-site.xml 中保持一致-->
<property>
 <name>dfs.nameservices</name>
 <value>mkmg</value>
</property>

<!-- mkmg名称空间 下面有两个 NameNode，别名分别是 nn1，nn2 -->
<property>
 <name>dfs.ha.namenodes.mkmg</name>
 <value>nn1,nn2</value>
</property>

<!-- nn1 的 RPC 通信地址 -->
<property>
 <name>dfs.namenode.rpc-address.mkmg.nn1</name>
 <value>mycat01:8020</value>
</property>

<!-- nn1 的 http 通信地址 -->
<property>
 <name>dfs.namenode.http-address.mkmg.nn1</name>
 <value>mycat01:50070</value>
</property>

<!-- nn2 的 RPC 通信地址 -->
<property>
 <name>dfs.namenode.rpc-address.mkmg.nn2</name>
 <value>mycat02:8020</value>
</property>
<!-- nn2 的 http 通信地址 -->
<property>
 <name>dfs.namenode.http-address.mkmg.nn2</name>
 <value>mycat02:50070</value>
</property>

<!-- 指定 NameNode 的 edits 元数据在 JournalNode 上的存放位置  指定jounalnode的位置 qjounal://主机：8485 -->
<property>
 <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://mycat01:8485;mycat02:8485;mycat03:8485/mk</value>
</property>

<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
 <name>dfs.journalnode.edits.dir</name>
 <value>/home/hadoop/data/hadoopdata/journaldata</value>
</property>

<!-- 开启 NameNode 失败自动切换 -->
<property>
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
</property>

<!-- 配置失败自动切换实现方式 -->
<!-- 此处配置在安装的时候切记检查不要换行-->
<property>
 <name>dfs.client.failover.proxy.provider.mkmg</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
 <name>dfs.ha.fencing.methods</name>
 <value>
 sshfence
 shell(/bin/true)
 </value>
</property>
<!-- 使用 sshfence 隔离机制时需要 ssh 免登陆,我使用的是hadoop用户 -->
<property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
 <name>dfs.ha.fencing.ssh.connect-timeout</name>
 <value>30000</value>
</property>

注意：上面的<name>标签中的mkmg是我的名称空间，你需要替换成自己上面设置的名称空间。

4）修改mapred-site.xml

由于默认是没有mapred-site.xml的，所以需要改名，当然，你也可以复制

[hadoop@mycat01 hadoop]$ mv mapred-site.xml.template mapred-site.xml

修改如下：(configuration标签内的内容)

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

<!-- 设置 mapreduce 的历史服务器地址和端口号,我这里选择mycat04 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>mycat04:10020</value>
</property>
<!-- mapreduce 历史服务器的 web 访问地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>mycat04:19888</value>
</property>
5）修改yarn-site.xml--------------配置高可用
[hadoop@mycat01 hadoop]$ vim yarn-site.xml

修改如下：（configuration标签内的内容）

<!-- 开启 RM 高可用 -->
<property>
 <name>yarn.resourcemanager.ha.enabled</name>
 <value>true</value>
</property>

<!-- 指定 RM 的 cluster id  组名 -->
<property>
 <name>yarn.resourcemanager.cluster-id</name>
 <value>mkmycat_cluster</value>  <!-- 这里随便写个，不要中文和特殊符号就好 -->
</property>

<!-- 指定 RM 的名字 resourcemanager 别名，和namenode的别名一样，都可以变 -->
<property>
 <name>yarn.resourcemanager.ha.rm-ids</name>
 <value>rm1,rm2</value>
</property>

<!-- 分别指定 RM 的地址 -->
<property>
 <name>yarn.resourcemanager.hostname.rm1</name>
 <value>mycat03</value>
</property>
<property>
 <name>yarn.resourcemanager.hostname.rm2</name>
 <value>mycat04</value>
</property>

<!-- 指定 zk 集群地址 -->
<property>
 <name>yarn.resourcemanager.zk-address</name>
 <value>mycat01:2181,mycat02:2181,mycat03:2181</value>
</property>

<!-- 要运行 MapReduce 程序必须配置的附属服务 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 开启 YARN 集群的日志聚合功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>

<!-- YARN 集群的聚合日志最长保留时长 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>86400</value>
</property>

<!-- 启用自动恢复 -->
<property>
 <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
</property>

<!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上-->
<property>
 <name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
6）修改slaves-----把里面的内容替换成datanode（或nodemanager）节点主机名
[hadoop@mycat01 hadoop]$ vim slaves

内容替换如下：-----不要有任何空格和回车

mycat01
mycat02
mycat03
mycat04
7）将hadoop的安装包| （配置文件） 远程发送到其他节点
 scp -r hadoop-2.7.6 mycat02:/home/hadoop/
 scp -r hadoop-2.7.6 mycat03:/home/hadoop/
 scp -r hadoop-2.7.6 mycat04:/home/hadoop/
8) zookeeper集群我已经安装了，这里就不说了

zookeeper集群搭建参见：https://blog.csdn.net/qq_33713328/article/details/88854991

5.格式化并启动集群（严格按照下面的步骤启动）
1）依次启动zookeeper(我的是mycat01,mycat02,mycat03上依次启动)
zkServer.sh  start

并且查看状态保证启动正常：

zkServer.sh  status
2）启动QJM共享文件系统（存储namenode元数据信息的----namenode状态信息）–每台都启动
hadoop-daemon.sh start journalnode

每一个对应一个JournalNode进程

3）NameNode格式化-----在一台上执行即可（我的NameNode是mycat01,mycat02）

我选择初始化mycat01,因此在mycat01节点上执行下列命令

[hadoop@mycat01 hadoop]$  hadoop namenode -format

格式化成功标识：

19/03/27 07:13:47 INFO common.Storage: Storage directory /home/hadoop/data/hadoopdata/dfs/name has been successfully formatted.
4）将上一步的节点的namenode的元数据信息远程拷贝到另一个NameNode节点上

拷贝 dfs/*到相同目录下

scp -r /home/hadoop/data/hadoopdata/dfs mycat01:/home/hadoop/data/hadoopdata/
5）初始化zkfc(监控每一个NameNode的健康状况，写入zk的一个节点中)

初始化zkfc,就是在zk中创建状态信息存储的节点

因为zkfc与NameNode在同一个节点，所以只需要在其中一个NamNode执行即可

hdfs zkfc -formatZK

6）启动

① 在任意节点启动：

start-hdfs.sh

② 最好在Yarn主节点启动，我这里可以选择在mycat03,mycat04

start-yarn.sh

③ 启动另一个Yarn主节点（Yarn高可用优点有缺陷，第二个需要手动启动）

yarn-daemon.sh start resourcemanager
6.环境搭建完成

你可以测试浏览器访问

你在windows本地的话，注意配置IP与主机名的映射

mycat01:50070
mycat02:50070
mycat03:8088
mycat04:8088
7.关闭集群的顺序
stop-dfs.sh
stop-yarn.sh

另一个ResourceManager需要手动关闭

关闭zookeeper

8.下次再启动集群时

先启动zookeeper

start-dfs.sh

start-yarn.sh

yarn-daemon.sh start resourcemanager 启动另一个ResourceManager

猫君之上
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据环境搭建1：apache hadoop环境搭建（centos7）
wangping623的专栏
07-18 418
1. 集群规划 2. 修改主机名（三台机器） 3. 设置ip地址 （如果有图形界面，可以直接通过图形界面进行设置，三台机器） 4. 配置主机名映射(三台机器) 5. 关闭防火墙和selinux（三台机器） 6. 安装jdk（略） 7. 拍摄快照，方便日后重新搭建环境 8. 配置ssh免密码登录 9. 下载apache hadoop2.7.7 10. 解压安装had...
hadoop运行环境搭建
yxb666888的博客
09-23 843
部署hadoop集群环境查阅了很多同仁写的资料，对我搭建成功帮助很大，因此也分享出我总结的资料，希望对新人有帮助。另外，在阅读中有不明白的请加我qq，一起探讨。
Hadoop环境搭建
美国梦中国心
06-29 6543
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
Apache hadoop启用HA
weixin_40817778的博客
08-09 305
阶段二hadoop启用HA 　 master slave1 slave2 HDFS NameNode NameNode 　 DataNode DataNode DataNode journalnode journalnode
2021-04-16
Zerorhero的博客
04-16 226
数据来源：拉钩教育大数据高薪开发训练营 Hadoop学习第三部分：Hadoop 完全分布式集群搭建 第一节 软件和操作系统版本 Hadoop框架是采用Java语言编写，需要java环境（jvm） JDK版本：JDK8版本 linux操作系统：Centos7 hadoop版本：hadoop-2.9.2 Hadoop搭建方式 单机模式：单节点模式，非集群，生产不会使用这种方式 单机伪分布式模式：单节点，多线程模拟集群的效果，生产不会使用这种方式 完全分布式模式：多台节点，真正的分布式Hadoop集群的搭建（生产
Apache Hadoop的集群搭建(入门级)
Shen_R的博客
05-06 362
Apache Hadoop的集群搭建(入门级) 建议3台虚拟机，虚拟机是centos7版本，使用完全分布式运行模式。 hadoop下载地址：https://archive.apache.org/dist/hadoop/common/ hadoop的伪分布式和本地运行模式：https://hadoop.apache.org/docs/stable/hadoop-project-dist/ha...
Hadoop 集群环境搭建
惊鸿若梦一书生
12-20 1255
大数据无非两个问题，如何存放数据，数据如何计算 存放数据用的就是Hadoop中的HDFS，进行分布式存储 数据计算就是用的Hadoop中的MapReduce，进行分布式计算 Hive 就是SQL on Hadoop,Hive数据存储在HDFS上，Hive查询最终转化为MapReduce spark是基于内存的计算，MapReduce是基于磁盘的计算，所以spark的卖点就是快，甚至能快100倍 spark中也有SQL，spark SQL spark流处理：streaming MLlib：机器学习 图处理
hadoop集群的搭建（apache）
12-23
总结来说，搭建Hadoop集群涉及Java环境配置、Hadoop软件安装、配置文件调整和集群服务启动。MapReduce则是Hadoop的核心处理机制，通过Map和Reduce两个步骤，实现了大规模数据的并行计算。对于初学者来说，理解这些...
hadoopHA搭建资源包
04-01
首先，Hadoop是Apache基金会开源的分布式文件系统，Hadoop 2.7.0是一个稳定版本，引入了HA特性，允许集群拥有两个NameNode，即活性NameNode（Active NN）和备用NameNode（Standby NN），确保NameNode层面的高可用。...
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/....https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
Hadoop分布式集群搭建所需安装包资源
09-01
在搭建Hadoop集群前，你需要在所有节点上安装这个JDK，并配置好`JAVA_HOME`环境变量，确保Hadoop能够找到Java环境。 接下来，我们来看`hadoop-2.7.5.tar.gz`，这是Apache Hadoop 2.7.5的源代码压缩包。Hadoop是一个...
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
mycat 测试后的结果让我决定放弃mycat作为中间件
热门推荐
兰辉
09-27 4万+
需求：mycat 出来好几年了，而且还是阿里的大神开发的产品，目前国内的mysql中间件它的名气最大且免费使用，我是打算先把mycat 做中间件 使用它的负载均衡和读写分离功能来达到mysql 数据库的高可用高性能高并发；然后看先用熟再后期使用它的分库分表功能 背景： mycat + mysql 一主双从 测试工具 sysbench  , python 写的批量写入脚本   测试结果：  ...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
二十三、HadoopHA环境搭建（保姆篇，手把手搭建）
08-27 1847
环境准备： 1. 将各个机器修改为静态IP，见主页第十四篇文章：Linux设置静态IP及Ping通百度 2. 修改主机名及主机名和IP地址的映射，见主页第十一篇文章：修改主机名，IP映射 3. 关闭防火墙，见主页第九篇文章：永久关闭防火墙 4. ssh免密登录，见主页第九篇文章：同上 5. 安装JDK，配置环境变量等，见主页第九篇文章：同上 规划集群： hadoopha101 hadoopha102 hadoopha103 ...
Apache Hadoop 2.2.0 HDFS HA + YARN多机部署
甘道夫的大数据进化论
03-03 1万+
Apache Hadoop 2.2.0 HDFS HA + YARN多机部署
Hadoop-Ha 集群架构图，以及各组件简介。
张震的博客
10-08 2604
hadoop(2)-HA/federation集群原理及搭建
王小禾
06-23 868
hadoop HA高可用集群搭建 | hadoop federation集群搭建详细步骤
Apache Hadoop MapReduce Mapper类小解
猫君之上的博客
03-13 2208
1.MapperTask 如果不考虑shuffle阶段的话，mapreduce程序主要分为两个大的模块，即Mapper模块和Reduce模块，而其中Mapper模块对应的是一个个maptask，而每一个MapperTask任务，对应于每一个逻辑切片(split)。因此了解Mapper运行流程很重要。 2.Mapper类 简介 我们要进行mapreduce编程那么就要自定义实现Mapper和Red...
hadoop HA集群搭建
最新发布
06-16
下面是Hadoop HA集群搭建的基本步骤： 1. **安装并配置Hadoop**: - 安装Hadoop到两个或更多节点上，每个节点都是一个独立的Hadoop集群实例。 - 配置`core-site.xml`和`hdfs-site.xml`文件，设置集群的名称节点...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值