Centos7下的Hadoop高可用框架搭建

最新推荐文章于 2023-07-27 19:16:06 发布
最新推荐文章于 2023-07-27 19:16:06 发布
阅读量130 收藏 1
点赞数
分类专栏： 大数据 安装配置 高可用框架 Hadoop 文章标签： 大数据 Hadoop 安装配置 高可用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37481017/article/details/84062208
版权

1、环境准备:

  1. 六台虚拟机
  2. JDK环境安装配置
  3. 配置好静态IP地址
  4. 通过xshell连接六台虚拟机
  5. 关闭防火墙
  6. 配置好每台机器的主机名和hosts文件
  7. 六台虚拟机配置免密登录

2、环境预搭建步骤：

  1. 关闭防火墙： 
    systemctl stop firewalld                --临时关闭防火墙
systemctl disable firewalld             --永久关闭防火墙

  2. 配置每台机器的主机名:将hostname文件里的内容删掉，第一台机器换成hadoop01。其他机器hadoop02、hadoop03。。。依次往下。修改完成后、保存并退出。

    vi /etc/hostname             --打开编辑主机名配置文件

  3. 配置每台机器的hosts文件:hosts文件原内容保留，不做修改。新增配置。配置示例如下：修改完成后、保存并退出。注意：每台机器的hosts文件内容相同。

    vi /etc/hosts                    --打开编辑机器hosts文件


--示例
127.0.0.1   localhost
::1         localhost
192.168.186.141 hadoop01
192.168.186.142 hadoop02
192.168.186.143 hadoop03
192.168.186.144 hadoop04
192.168.186.145 hadoop05
192.168.186.146 hadoop06

  4. 以上都配置完成后，重启六台虚拟机。使hostname文件和hosts文件内容生效。

  5. 配置免密登录:生成ssh密钥是会提示输入东西，都不用管。一直回车。六台机器都做同样操作。

    ssh-keygen                  --生成ssh密钥
ssh-copy-id root@hadoop01   --拷贝ssh密钥到机器的用户公钥文件中
ssh-copy-id root@hadoop02
ssh-copy-id root@hadoop03
ssh-copy-id root@hadoop04
ssh-copy-id root@hadoop05
ssh-copy-id root@hadoop06

3、搭建ZooKeeper集群:

ZooKeeper集群的搭建、我就不在这里多说了。不会的请看我的另一篇文章。https://blog.csdn.net/qq_37481017/article/details/82963517

4、安装和搭建hadoop01节点

  1. 上传解压:上传解压在这我也不多叙说，不会的请先看我写的伪分布式搭建。这里我将hadoop2.7.1安装包解压到/usr/local/hadoop/目录下。                                                                                                                                                                                                                                   
  2. 配置hadoop-env.sh文件:配置jdk安装的所在目录和配置hadoop配置文件所在的目录。修改以下两处配置，修改为你自己的安装目录。 
    vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/hadoop-env.sh     --打开编辑hadoop-env.sh文件

  3. 配置core-site.xml:新增以下配置。

    vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/core-site.xml    --打开编辑



--新增以下配置
<configuration>

<!--用来指定 hdfs 的老大，ns 为固定属性名，表示两个 namenode-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>

<!--用来指定 hadoop 运行时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-2.7.1/tmp</value>
</property>

<!--执行 zookeeper 地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>

  4. 配置hdfs-site.xml文件:新增以下配置。

    vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/hdfs-site.xml



--新增以下配置
<configuration>

<!--执行 hdfs 的 nameservice 为 ns,和 core-site.xml 保持一致-->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>

<!--ns 下有两个 namenode,分别是 nn1,nn2-->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>

<!--nn1 的 RPC 通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>hadoop01:9000</value>
</property>

<!--nn1 的 http 通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>hadoop01:50070</value>
</property>

<!--nn2 的 RPC 通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>hadoop02:9000</value>
</property>

<!--nn2 的 http 通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>hadoop02:50070</value>
</property>

<!--指定 namenode 的元数据在 JournalNode 上的存放位置,这样，namenode2 可以从 jn 集群里获取最新的 namenode 的信息，达到热备的效果-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns</value>
</property>

<!--指定 JournalNode 存放数据的位置-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/hadoop-2.7.1/journal</value>
</property>

<!--开启 namenode 故障时自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<!--配置切换的实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!--配置隔离机制-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

<!--配置隔离机制的 ssh 登录秘钥所在的位置-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<!--配置 namenode 数据存放的位置,可以不配置，如果不配置，默认用
的是 core-site.xml 里配置的 hadoop.tmp.dir 的路径-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/hadoop-2.7.1/tmp/namenode</value>
</property>

<!--配置 datanode 数据存放的位置,可以不配置，如果不配置，默认用
的是 core-site.xml 里配置的 hadoop.tmp.dir 的路径-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/hadoop-2.7.1/tmp/datanode</value>
</property>

<!--配置 block 副本数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<!--设置 hdfs 的操作权限，false 表示任何用户都可以在 hdfs 上操作文件-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>


</configuration>

       

  5. 配置mapred-site.xml文件:新增以下配置。

    vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/mapred-site.xml



--新增以下配置
<configuration>

<property>
<!--指定 mapreduce 运行在 yarn 上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>

  6. 配置yarn-site.xml文件:新增以下配置。

    vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/yarn-site.xml



--新增以下配置
<configuration>

<!-- Site specific YARN configuration properties -->


<!-- 开启 YARN HA -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

 <!-- 指定两个 resourcemanager 的名称 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<!-- 配置 rm1，rm2 的主机 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop01</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop03</value>
</property>

<!--开启 yarn 恢复机制-->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>

<!--执行 rm 恢复机制实现类-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

<!-- 配置 zookeeper 的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
<description>For multiple zk services, separate them withcomma</description>
</property>

<!-- 指定 YARN HA 的名称 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-ha</value>
</property>

<property>
<!--指定 yarn 的老大 resoucemanager 的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>

<property>
<!--NodeManager 获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


</configuration>

        

  7. 配置slaves文件:

    vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/slaves


--新增配置
hadoop04
hadoop05
hadoop06

  8. 配置hadoop环境变量:

    vi /etc/profile                      --打开配置文件



--新增以下配置
#配置hadoop的环境变量
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.1

export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin



--新增完成后
source /etc/profile        --刷新配置文件

  9. 根据配置文件、创建相关的文件夹、用来存放对应数据:在/usr/local/hadoop/hadoop-2.7.1目录下创建文件夹。

    mkdir journal           --创建journal
mkdir -p tmp/namenode tmp/datanode    --创建tmp目录 并在其下创建namenode和datanode

  10. 复制hadoop文件夹和profile文件到其他五台机器上。

5、集群启动:

  1. 启动ZooKeeper集群:我也不多叙述，不会的看我ZooKeeper集群文章。
  2. 格式化ZooKeeper:在ZooKeeper的leader节点上执行以下命令。 
    hdfs zkfc -formatZK               --格式化ZooKeeper

  3. 启动 journalnode集群: 在04、05、06中任意一台节点上执行以下命令。

    hadoop-daemons.sh start journalnode

  4. 格式化01的namenode:在01节点上执行以下命令。出现以下代表成功。

    hadoop namenode -format

  5. 启动01节点上的namenode:在01节点上执行以下命令。

    hadoop-daemon.sh start namenode

  6. 把 02 节点的 namenode 节点变为 standby namenode 节点 :在02节点上执行以下命令。出现以下情况成功。

    hdfs namenode  -bootstrapStandby

  7. 在02节点上启动namenode:执行以下命令。

    hadoop-daemon.sh start namenode

  8. 在 04,05,06 节点上启动 datanode 节点:在04、05、06节点分别执行以下命令。

    hadoop-daemon.sh start datanode

  9. 启动zkfc（启动FalioverControllerActive)：在01和02节点上执行以下命令。

    hadoop-daemon.sh start zkfc

  10. 在 01 节点上启动 主 ResourceManager:在01节点执行以下命令。

    start-yarn.sh

  11. 在 03 节点上启动副 ResouceManager:执行以下命令。

    yarn-daemon.sh start resourcemanager

到此、Hadoop的高可用框架搭建启动就已经全部完成了。

 

逝唁
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7搭建hadoop高可用(ha)集群
greatxiaoting的专栏
09-18 1171
hadoop高可用(ha)集群实现目标： s101和s105设置为名称节点，可以互相切换为active状态； s102~104设置为数据节点和journalnode节点。 准备工作： centos7搭建hadoop分布式集群，参考文章：https://blog.csdn.net/greatxiaoting/article/details/81571187 注：hadoop高可用(ha)集...
hadoop2.7.2集群_centos7 环境搭建
09-15
本教程将详述如何在CentOS 7环境下搭建Hadoop 2.7.2集群，同时也会提及到Java开发工具集（JDK）8u144的安装，因为Hadoop运行需要Java环境的支持。 首先，我们需要了解Hadoop的基本概念。Hadoop是由Apache软件基金会...
hadoop基于Linux7的安装配置图文详解
09-14
主要介绍了hadoop基于Linux7的安装配置，本文通过图文并茂的形式给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
Centos中Hadoop安装详细过程（含图文）
热门推荐
weixin_43333607的博客
01-12 1万+
CentOS中hadoop的安装 安装环境 虚拟机上三台centos系统 使用NET模式连接有线网络 在命令行使用ifconfig命令查看静态IP地址 Xshell5安装在Windows上，用于连接虚拟机 所需软件下载 Hadoop官网下载Hadoop：http://hadoop.apache.org/ JDK官网下载：https://www.oracle.com/technet...
Centos7 部署hadoop高可用集群
qq_34158880的博客
07-26 878
centos7 部署高可用hadoop集群
hadoop高可用集群搭建
浅抒流年的博客
08-20 7770
主机配置环境如下表 主机名 IP 系统 软件版本 安装目录 数据目录 hadoop-01 192.168.10.51 Centos 7.6 hadoop-2.7.7、jdk1.8、zookeeper-3.4.6 /usr/local/hadoop /data/hadoop hadoop-02 192.168.10.52 Centos 7.6 hadoop-2.7.7、jdk1....
大数据技术训练舱：从零开始部署Hadoop3高可用集群（基于CentOS7）
守护石大数据
12-29 1895
大数据技术的学习任重而道远，很多小伙伴都会卡在诸多的基础问题上，因此作为大数据技术方面的布道者，我将开启一个全新的学习实践与指导计划： 从零开始，一步步由浅入深，系统化的开展大数据技术实践的学习指导，手把手的教会我们怎么应用大数据技术框架，再配合上大数据技术、分布式架构的原理研究、系统优化、框架协作等高级内容，使得我们能更深刻的掌握大数据技术。期待能促进更多的工程师朝着大数据、人工智能、物联网等新一代技术方向前进与突破。 您也可以在关注我们的公众号：守护石，输入：hadoop3，解锁阅读全文。 1
CentOS 7部署Hadoop集群（HA高可用集群）
Niclas的博客
10-12 1739
目录 测试环境 Hadoop 组织框架 HDFS架构 YARN架构 HA集群部署规划 自动故障转移 关于集群主机时间 Linux环境搭建 配置Java环境 安装单机版Hadoop Zookeeper集群安装 配置环境变量 关闭防火墙 修改hosts文件 配置SSH免密登录 修改Hadoop配置文件 Hadoop集群的初始化 Hadoop集群的启动 测试环境 ...
CentOS-7 Hadoop集群部署
最後の後悔的博客
07-27 520
Hadoop 3.3.x集群部署，原理大致相似
CentOS上搭建Hadoop2.5.2_CentOS搭建hadoop_云计算_源码
10-01
通过以上步骤，你可以在CentOS 7.0上成功搭建Hadoop 2.5.2集群，为云计算框架提供基础平台。这个过程涵盖了Linux系统管理、Java环境配置、分布式文件系统HDFS的搭建、资源调度系统YARN的配置以及MapReduce编程模型的...
hadoop3.1.2 centos7
最新发布
05-21
总的来说，Hadoop 3.1.2在CentOS 7上的部署涉及了系统配置、环境搭建、服务启动等多个环节，需要对Linux操作系统和Hadoop有深入理解。这个压缩包文件提供了在CentOS 7上运行Hadoop所需的所有组件，是开始大数据处理...
Hadoop之高可用集群的安装.docx
05-12
Hadoop是一个开源的分布式计算框架，其高可用性是通过复制和故障切换机制来保证服务的连续性和数据的安全性。在这个实验项目中，我们将探讨如何在完全分布式模式下安装和配置Hadoop的高可用集群。 首先，我们需要...
基于CentOS 7的Hadoop集群配置的研究与实现.docx
11-07
同时，通过在CentOS 7上的实践，读者可以掌握Hadoop集群的搭建步骤。 1.3 **研究意义** 掌握Hadoop的使用不仅对于计算机科学和技术、软件工程专业的学生，对于任何需要处理大数据的企业和研究者都有重大价值。通过...
在VM上安装centOS7&配置Hadoop环境
Wood_Du的博客
09-29 2083
主要内容： 1.安装虚拟机和centOS7。 2.理解Hadoop的体系结构。 3.配置Hadoop集群 写在开头（相关软件下载link和参考的博客） VMware软件的安装 https://blog.csdn.net/sehejs_a/article/details/80633379 这个博客有VMware正版软件的下载地址和激活密钥 centOS7镜像下载： https://www.cento...
Hadoop2.0高可用集群搭建【保姆级教程】
Charon_byc的博客
10-15 1405
Hadoop高可用集群搭建
创建redis集群服务时、提示错误：ERR Invalid node address specified: hadoop01:7001 (Redis::CommandError)
逝唁的博客
01-04 7198
创建redis集群服务时，提示以下错误： /usr/local/rvm/gems/ruby-2.4.5/gems/redis-4.1.0/lib/redis/client.rb:124:in `call': ERR Invalid node address specified: hadoop01:7001 (Redis::CommandError) from /usr/local/rvm/g...
Centos7安装K8S的1.21.2集群
逝唁的博客
07-19 3965
Centos7安装K8S 1、服务器 需要准备三台Centos7的服务器，配置最少2C 2G。 三台服务器都已经配置好静态IP。 没有配的可以参考：[https://blog.csdn.net/qq_37481017/article/details/118732932] 主机名 IP Docker版本 主机配置 K8S版本 master01 192.168.159.171 20.10.7 2C8G 1.21.2 work01 192.168.159.172 20.10.7 2C8G
Hadoop3.3高可用环境搭建 .docx
11-29
首先，我们使用centos7操作系统来搭建Hadoop3.3.1的高可用环境。对于节点的规划，我们需要至少有两个NameNode（NN）来保证数据的高可靠性，同时每个NameNode上需要部署三个DataNode（DN）来存储副本。为了实现计算向...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值