Hadoop搭建高可用集群（保姆级教程）

最新推荐文章于 2024-08-04 13:23:56 发布
最新推荐文章于 2024-08-04 13:23:56 发布
阅读量4.1k 收藏 33
点赞数 7
分类专栏： Hadoop 文章标签： hadoop linux hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44911081/article/details/121141778
版权

准备工作：

1、搭建完成zookeeper，如果没有搭建，请跳转到zookeeper集群搭建保姆级教程
2、集群的jdk都安装完成，如果没有，请跳转到linux编写个脚本快速搭建jdk保姆级教程
3、在/opt/install 下有Hadoop2.6.0的包
4、高可用集群搭建结构表
在这里插入图片描述

操作步骤：

1、首先对Hadoop包进行解压缩
[root@nnode2 install]# tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft/
在这里插入图片描述
为了后期使用Hadoop文件夹方便，我们将它更改个名字。mv hadoop-2.6.0-cdh5.14.2/ hadoop260
在这里插入图片描述
进入到etc/hadoop/目录下修改文件。vim hadoop-env.sh
在这里插入图片描述
vim yarn-env.sh
在这里插入图片描述
vim mapred-env.sh
请添加图片描述
修改完jdk后，接下来是重头戏。

vim core-site.xml

<configuration>
<!--指定hdfs的nameservice 为 mycluster -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
</property>

<!--指定Hadoop工作目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/soft/hadoop260/hadooptmp</value>
</property>

<!--指定zookeeper集群访问地址  -->
<property>
        <name>ha.zookeeper.quorum</name>
        <value>nnode2:2181,nnode3:2181,nnode4:2181</value>
</property>

<!-- 配置为了解决以后其他组件连接HDFS集群 -->
<property>
        <name>hadoop.proxyuser.bigdata.hosts</name>
        <value>*</value>
</property>

<property>
        <name>hadoop.proxyuser.bigdata.groups</name>
        <value>*</value>
</property>
</configuration>

vim hdfs-site.xml

<configuration>
<!-- 指定副本数 -->
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>

<!-- 指定HDFS的nameservice为mycluster,需要跟core-site.xml中保持一致 -->
<property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
</property>

<!-- 设置mycluster集群有两个namenode，分别为nn1,nn2 -->
<property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
</property>

<!-- 配置nn1的RPC通信地址 -->
<property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>nnode2:9000</value>
</property>

<!-- 配置nn1的http通信地址 -->
<property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>nnode2:50070</value>
</property>

<!-- 配置nn2的RPC通信地址 -->
<property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>nnode3:9000</value>
</property>

<!-- 配置nn1的http通信地址 -->
<property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>nnode3:50070</value>
</property>

<!-- 指定JournalNode 在本地磁盘存放数据的位置 -->
<property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/soft/hadoop260/journaldata</value>
</property>

<!-- 指定NameNode的edits元数据在journalNode上的服务器 -->
<property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://nnode2:8485;nnode3:8485;nnode4:8485/mycluster</value>
</property>

<!-- 开启NameNode自动切换 -->
<property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
</property>
<!-- 配置nameNode失败自动切换的实现方式 -->
<property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProvider</value>
</property>

<!-- 配置隔离机制方法 -->
<property>
        <name>dfs.ha.fencing.methods</name>
        <value>
                sshfence
                shell(/bin/true)
        </value>
</property>

<!-- 使用sshfence隔离机制时需要ssh免密登录 -->
<property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
</property>

<!-- 配置sshfence隔离机制超时时间 -->
<property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
</property>

<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
</property>
</configuration>

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<configuration>
<!-- 指定mapreduce运算时资源调度为 yarn 模式 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

<!-- 配置mapreduce历史服务器地址 端口号 -->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>nnode5:10020</value>
</property>

<!-- 配置mapreduce历史服务器WEB访问地址 -->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>nnode5:19888</value>
</property>
</configuration>

vim yarn-site.xml

<configuration>
<!-- 开启高可用 -->
<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
</property>

<!-- 指定ResourceManager的标识：yrc -->
<property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
</property>

<!-- 指定RM的名字 -->
<property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
</property>

<!-- 指定rm1服务器 -->
<property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>nnode2</value>
</property>

<!-- 指定rm2服务器 -->
<property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>nnode3</value>
</property>

<!-- 指定rm 被管理的zk地址 -->
<property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>nnode2:2181,nnode3:2181,nnode4:2181</value>
</property>

<!-- 运行mapreduce任务需要使用的服务 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 开启yarn集群的日志聚合功能 -->
<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>

<!-- 设置日志保存时间 -->
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
</property>

<!-- 启动rm自动恢复功能 -->
<property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
</property>

<!-- 制定rm 状态信息存储在zookeeper集群上 -->
<property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>

vim slaves 在slaves文件中，添加集群的各节点名称。
请添加图片描述
使用脚本将hadoop260文件夹分发到其他机器上。（rsync）
在这里插入图片描述
2、启动zookeeper集群（脚本启动）zkop start
zkop status 查看状态信息
在这里插入图片描述
3、启动journalnodehadoop-daemon.sh start journalnode
ssh nnode3 "source /etc/profile; hadoop-daemon.sh start journalnode"
ssh nnode4 "source /etc/profile; hadoop-daemon.sh start journalnode"

4、Hadoop格式化hadoop namenode -format
将nnode2格式化后的hadooptmp文件同步到nnode3
[root@nnode2 hadoop260]# scp -r hadooptmp/ root@nnode3:/opt/soft/hadoop260/

5、初始化zookeeper
hdfs zkfc -formatZK

6、启动hdfs
start-dfs.sh

7、启动yarn
start-yarn.sh

最后使用脚本去查看进程信息
在这里插入图片描述

配置完成~~记得去浏览器查看两台namenode请添加图片描述

请添加图片描述

万家林
关注
专栏目录
Hadoop高可用集群
千锋教育
06-02 1131
当发生故障的时候, Active节点挂掉, 此时Standby节点在成为新的Active节点之前, 会将读取到的EditLog文件在自己的内存中进行推演, 得到最新的目录树结构. 此时再升为Active节点, 可以无缝的继续对外提供服务.当有任何的操作发生在Active节点上的时候, JN会记录这些操作到半数以上的节点中. Standby节点检测JN中的log日志文件发生了变化, 会读取JN中的数据到自己的内存中, 维护最新的目录树结构与元数据信息。要是有一个能监视Active节点的服务功能就好了。
Zookeeper集群和Hadoop集群安装（保姆级教程）
aj_shang的博客
03-07 4045
Zookeeper集群和Hadoop集群安装（保姆级教程），集群搭建
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
热门推荐
你不来，再美的天地，都狼藉 ~
05-29 1万+
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
手把手Linux高可hadoop集群的搭建
2301_79810514的博客
06-07 822
在搭建高可用集群之前，如果搭建了完全分布式hadoop，先执行stop-all.sh停掉所有的服务，只保留jdk和zookeeper的2个服务，然后再去搭建。为了确保ZooKeeper集群能够通过ZKFC为HDFS提供高可用，在****初次启动****Hadoop高可用集群之前需要进行格式化ZKFC的操作。1）分别在虚拟机hadoop01、hadoop02和hadoop03中启动JournalNode。1）配置Hadoop运行时环境 vi hadoop-env.sh。3）同步NameNode。
Hadoop搭建集群
最新发布
m0_70405779的博客
08-04 2564
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
hadoop高可用集群搭建
浅抒流年的博客
08-20 7816
主机配置环境如下表 主机名 IP 系统 软件版本 安装目录 数据目录 hadoop-01 192.168.10.51 Centos 7.6 hadoop-2.7.7、jdk1.8、zookeeper-3.4.6 /usr/local/hadoop /data/hadoop hadoop-02 192.168.10.52 Centos 7.6 hadoop-2.7.7、jdk1....
Hadoop高可用集群搭建
m0_50744317的博客
05-08 3988
一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4573
一文带你了解Hadoop的HA高可用搭建!
Hadoop的高可用搭建
kailzhu的博客
06-22 307
Hadoop的高可用搭建1、虚拟机和组件的获取和选择1.1、虚拟机1.2、版本选择1.3 、架包下载二级目录三级目录 1、虚拟机和组件的获取和选择 1.1、虚拟机 参数 值 说明 虚拟机名称 nn,dn1,dn2 19.168.229.[150/151/152] 虚拟机个数 3台 个数最少3个，且最好为奇数 内存 20G/4G 主节点20G子节点4G 磁盘 300G 三台相同 系统 CentOS-7-x86_64-DVD-1708.iso 三台相同 之前搭建CDH，因此沿
Hadoop 集群搭建
Larry的博客
09-27 378
目标 在3台服务器上搭建 Hadoop2.7.3 集群，然后测试验证，要能够向 HDFS 上传文件，并成功运行 mapreduce 示例程序 搭建思路 （1）准备基础设施 准备3台服务器，分别命名为 master、slave1、slave2 互相配置为 SSH 免密码登录，并都安装好 JAVA 环境 （2）安装配置 h
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）_hadoop的高可用搭建
2401_84166396的博客
05-03 918
注意要将 zoo_sample.cfg 文件改名为 zoo.cfg，这个文件在 zookeeper 目录的 conf 目录下。不需要启动Zookeeper的节点，不需要配置进来。ZKFailOverController是Hadoop中通过ZK实现FC（故障转移）功能的一个实用工具。
在虚拟机中搭建高可用集群，超详解，保姆级教学
一个学习的博客
11-05 1279
先确定你的高可用集群分布表 我的是，一定要记住自己的到时候配置xml的时候要对照自己的来 接着启动虚拟机开始搭建
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群（从零开始保姆级）
Ice__Clean的博客
10-03 2491
—— 步骤 ——0. 背景1. 创建出第一个容器2. 为该容器配置 java 和 hadoop 环境3. 配置允许外界通过 ssh 连接容器4. 由该容器克隆出多个容器5. 为各个容器配置 ssh 免密登录6. 开始编写集群配置7. 启动集群 0. 背景 看到网上的教程，都是使用虚拟机克隆出多台虚拟机模拟集群 但在真正的服务器上，发现这种方法行不通了 这时候就想起 Docker 了，仔细想象 Docker 学完到现在还没真正实战过，这次正好是一个好机会 实现思路也很简单，在 Docker 中创建多个 Ce
CDH大数据平台搭建之HADOOP分布式集群搭建
qq_41924766的博客
06-09 4490
CHD大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.准备5台虚拟机2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.xml文件7、修改slaves文件8、分发文件9、配置环境变量四、启动集群1.启动ZOOKEEPER集群2.启
hadoop 高可用集群搭建
BASEDEDATO的博客
06-12 1251
#关闭防火墙 systemctl disable firewalld systemctl stop firewalld #关闭selinux  /etc/selinux/config  将SELINUX=enforcing 改为SELINUX=disabled sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config ...
Hadoop集群 ——高可用（HA）
weixin_47869733的博客
12-05 1652
保证集群运行的高稳性。 1.相关版本： Hadoop1.x 没有高可用 Hadoop2.x 自己手动配置高可用 Hadoop3.x 框架中已经支持高可用，无需手动配置 2.实现原理： 在一个集群中，有两个NameNade 同一时刻只能有一个NameNode处于active状态，另一个处于standby状态 这两个NameNode通过zookeeper实现数据的实时同步 ...
搭建Hadoop高可用集群
m0_52474839的博客
01-02 932
Hadoop数据分析项目“环境搭建”环境要求搭建步骤打开vmvare，将一个主节点虚拟机，克隆两台从节点虚拟机点击Slave**下载hadoop，jdk等**将hadoop改名****更改环境配置****Master节点配置Hadoop信息**修改core-site.xml修改hdfs-site.xml修改文件mapred-site.xml修改文件 yarn-site.xmlMaster主节点执行****Slave从节点执行如下命令**接着修改从节点环境变量可能有同学看了好多教程，好多优秀的没有配置从节点的
Hadoop2.6高可用集群搭建详解
"Hadoop2.6高可用集群搭建手册" 在搭建Hadoop2.6高可用集群时，首先需要了解系统的具体环境。本手册基于Linux操作系统，内核版本为3.10.0-1062.18.1.el7.x86_64，发行版为CentOS Linux 7.7.1908。在这样的系统环境...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

万家林

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值