Hadoop HA部署教程

已于 2023-05-25 11:49:24 修改 140 收藏 1
分类专栏： 大数据存储 文章标签： hadoop 大数据 分布式 hdfs zookeeper
于 2023-05-25 11:39:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65278751/article/details/130583562
版权

环境准备 

主机类型密码ip
master主节点root192.168.169.130
slave1从节点root192.168.169.128
slave2从节点root192.168.169.129

Centos7.iso文件

hadoop2.7.7

zookeeper3.4.8

jdk1.8

Xshell官网

SecureCRT软件

本文所展示的内容都是基于Xshell终端模拟软件，也可以使用SecureCRT终端模拟

介绍

1.hadoopHA的概念及应用场景：

Hadoop HA（High Availability）是指在Hadoop集群中，通过部署高可用性架构来保证系统的高可用性。Hadoop HA的关键在于实现NameNode的高可用性，保证整个集群的文件系统稳定性。Hadoop中的主备模型中，主节点（NameNode）负责管理和维护整个集群的文件系统和数据，备节点（Secondary NameNode）则完成主节点的备份和辅助工作，用于保障系统的可靠性。在Hadoop HA架构中，主节点会有多个备份节点，这些备份节点可以自动切换到主节点的身份，当主节点发生故障时，保证系统的高可用性。Hadoop HA的应用场景主要是针对大规模的数据存储和处理，以及涉及到关键业务的场景。当系统中存在大量的数据存储和处理需求时，出现故障将会对系统运作带来致命影响。此时采用Hadoop HA可以保障系统的可靠性和高可用性。同时，在涉及到关键业务的场景中，故障和文件系统出现问题等都将不可接受，因此更需要考虑Hadoop HA的部署和应用。

2.hadoop工作原理：

数据存储：Hadoop将大文件分割成多个小块，称之为数据块。这些数据块会被存储到集群中的不同计算节点上，以实现数据的分布式存储。
计算：Hadoop使用MapReduce计算框架来实现数据处理。MapReduce会将数据块从存储节点移动到计算节点，然后将处理结果返回到存储节点。通过这种方式，可以同时运行多个任务，提高计算效率。
故障容错：Hadoop使用数据冗余和备份机制来保证系统的故障容错性。分布式文件系统中，每个数据块都会有多个备份，保证即使存储节点出现故障，数据也能够被恢复。
集群管理：Hadoop使用ZooKeeper来实现分布式的协调和管理。ZooKeeper负责管理Hadoop集群的配置信息、服务发现和状态变化通知等。它使得Hadoop集群能够实现自我恢复和管理。

IP配置

1.查看机器的ip配置

ip a

2.修改ip配置，ens33

vi /etc/sysconfig/network-scripts/ifcfg-ens33

 注：网络连接方式选择net连接，BOOTPROTO=dhcp，下面加入IP，子网掩码，网关，DNS1，DNS2 ，IP地址要与网关处于同一网段内，DNS1与网关相同即可，子网掩码，DNS2可照搬

 3.重启网卡

systemctl restart network

4.关闭防火墙

systemctl stop firewalld.service

关闭防火墙自启

systemctl disable firewalld.service

查看防火墙状态

systemctl status firewalld.service

5.ping内外网检查

ping 192.168.169.128
ping www.baidu.com

设置计算机名和主机映射

1.设置计算机名

hostnamectl set-hostname new hostname
bash

new hostname为新的计算机名，bash立即生效

 2.设置主机映射

vi /etc/hosts

分别配置每个主机的IP ,可通过ssh传输到slav1和slave2

scp /etc/hosts root@slave1:/etc/hosts
scp /etc/hosts root@slave2:/etc/hosts

SSH免密

在主机master下的root用户进行

 1.设置master免密

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2. 远程登录slave1.slave2

分别在slave1,2创建.ssh文件夹

mkdir .shh

 密钥传输在master主机

scp~/.ssh/id_rsa.pub root@slave1:~/.ssh
scp~/.ssh/id_rsa.pub root@slave2:~/.ssh
slave1:cat ~/.ssh/id_rsa/pub >> ~/.ssh/authorized_keys
slave2:cat ~/.ssh/id_rsa/pub >> ~/.ssh/authorized_keys

 环境部署

一，jdk

1.解压 jdk 到 /usr/local/java

tar -zxvf jdk1.8.0_221.tar.gz -C /usr/local/src/

2.配置环境变量

vi /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_341
export  PATH=$PATH:$JAVA_HOME/bin

3.生效环境变量

source /etc/profile

4.查看java版本

java -version

二、安装hadoop环境

1.解压hadoop到/usr/local/src

tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/src
重命名：mv /usr/local/src/hadoop-2.7.7.tar.gz /usr/local/src/hadoop

2.配置环境变量

vi /etc/profile
#HADOOP_HOME
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

3.生效配置文件

source /etc/profile

 4.查看版本

hadoop version

三、安装zookeeper及配置

1.解压

tar -zxvf zookeeper-3.4.8.tar.gz -C /usr/local/src
重命名：mv /usr/local/zookeeper-3.4.8.tar.gz -C /usr/local/zookeeper

2.新建data和logs目录，为配置文件做准备

mkdir /usr/local/zookeeper/data
mkdir /usr/local/zookeeper/logs

3.配置环境(本人当时配置时没有重命名)

vi /etc/profile
#ZOOKEEPER_HOME
export ZK_HOME=/usr/local/zookeeper/zookeeper-3.4.8
export PATH=$PATH:$ZK_HOME/bin

生效配置

source /etc/profile

修改zoo.cffg文件 

cd /usr/local/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

修改

dataDir=/usr/local/zookeeper/data

增加

dataLogDir=/usr/local/zookeeper/logs
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888


cd data

 增加值为1

vi myid

4.集群分发

scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile
scp -r /usr/local/zookeeper slave1:/usr/local/
scp -r /usr/local/zookeeper slave2:/usr/local/

5.修改slave1,2的myid值分别为2,3

vi /usr/local/zookeeper/data/myid

6.创建如下目录，配合后面的配置文件

mkdir /usr/local/src/hadoop/tmp
mkdir /usr/local/src/hadoop/logs
mkdir /usr/local/src/hadoop/tmp/journal
mkdir /usr/local/src/hadoop/tmp/data
mkdir /usr/local/src/hadoop/tmp/name

7.进入hadoop配置文件

cd /usr/local/src/hadoop/etc/hadoop

8.配置hadoop.env.sh文件

export JAVA_HOME=/usr/local/java/jdk1.8.0_341

 9.配置core-site.xml(注意更换自己的安装位置)

<configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://mycluster</value>
         </property>

         <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/src/hadoop/tmp</value>
          </property>
          <property>
             <name>ha.zookeeper.quorum</name>
             <value>master:2181,slave1:2181,slave2:2181</value>
          </property>
          <property>
             <name>ha.zookeeper.session-timeout.ms</name>
             <value>30000</value>
             <description>ms</description>
          </property>
          <property>
             <name>fs.trash.interval</name>
             <value>1440</value>
          </property>
</configuration>

10.配置hdfs-site.xml

<configuration>
<!-- journalnode 集群之间通信的超时时间 -->
      <property>
          <name>dfs.qjournal.start-segment.timeout.ms</name>
          <value>60000</value>
      </property>
<!--指定 hdfs 的 nameservice 为 mycluster，需要和 core-site.xml 中的保持一致
dfs.ha.namenodes.[nameservice id]为在 nameservice 中的每一个 NameNode 设置唯一标示
符。配置一个逗号分隔的NameNode ID列表。这将是被DataNode识别为所有的NameNode。
如果使用"mycluster"作为 nameservice ID，并且使用"master"和"slave1"作为 NameNodes >标
示符 -->
      <property>
          <name>dfs.nameservices</name>
          <value>mycluster</value>
      </property>
<!-- mycluster 下面有两个 NameNode，分别是 master，slave1 -->
      <property>
          <name>dfs.ha.namenodes.mycluster</name>
          <value>master,slave1</value>
      </property>
<!-- master 的 RPC 通信地址 -->
<property>
          <name>dfs.namenode.rpc-address.mycluster.master</name>
          <value>master:8020</value>
      </property>
<!-- slave1 的 RPC 通信地址 -->
      <property>
          <name>dfs.namenode.rpc-address.mycluster.slave1</name>
          <value>slave1:8020</value>
      </property>
<!-- master 的 http 通信地址 -->
      <property>
          <name>dfs.namenode.http-address.mycluster.master</name>
          <value>master:50070</value>
      </property>
<!-- slave1 的 http 通信地址 -->
      <property>
          <name>dfs.namenode.http-address.mycluster.slave1</name>
          <value>slave1:50070</value>
      </property>
<!-- 指定 NameNode 的 edits 元数据的共享存储位置。也就是 JournalNode 列表
 该 url 的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId
 journalId 推荐使用 nameservice，默认端口号是：8485 -->
<property>
         <name>dfs.namenode.shared.edits.dir</name>
         <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
     </property>
<!-- 配置失败自动切换实现方式 -->
     <property>
         <name>dfs.client.failover.proxy.provider.mycluster</name>
         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 -->
     <property>
         <name>dfs.ha.fencing.methods</name>
         <value>
             sshfence
         shell(/bin/true)
         </value>
     </property>
     <property>
         <name>dfs.permissions.enabled</name>
<value>/root/.ssh/id_rsa</value>
     </property>
<!-- 指定副本数 -->
     <property>
         <name>dfs.replication</name>
         <value>2</value>
     </property>
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>/usr/local/src/hadoop/tmp/hdfs/nn</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>/usr/local/src/hadoop/tmp/hdfs/dn</value>
     </property>
<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
     <property>
         <name>dfs.journalnode.edits.dir</name>
         <value>/usr/local/src/hadoop/tmp/hdfs/jn</value>
     </property>
<!-- 开启 NameNode 失败自动切换 -->
<property>
         <name>dfs.ha.automatic-failover.enabled</name>
         <value>true</value>
     </property>
<!-- 启用 webhdfs -->
     <property>
         <name>dfs.webhdfs.enabled</name>
         <value>true</value>
     </property>
<!-- 配置 sshfence 隔离机制超时时间 -->
     <property>
         <name>dfs.ha.fencing.ssh.connect-timeout</name>
         <value>30000</value>
     </property>
     <property>
         <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
         <value>60000</value>
     </property>



</configuration>

11.配置mapred-sute.xml

拷贝mapred-site.xml.template重命名为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration>
         <!-- 指定 mr 框架为 yarn 方式 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
 <!-- 指定 mapreduce jobhistory 地址 -->
 <property>
 <name>mapreduce.jobhistory.address</name>
 <value>master:10020</value>
 </property>
 <!-- 任务历史服务器的 web 地址 -->
 <property>
<name>mapreduce.jobhistory.webapp.address</name>
 <value>master:19888</value>
 </property>

</configuration>

12.配置yarn-sute.xml

<configuration>
          <!-- Site specific YARN configuration properties -->
 <!-- 开启 RM 高可用 -->
 <property>
 <name>yarn.resourcemanager.ha.enabled</name>
 <value>true</value>
 </property>
 <!-- 指定 RM 的 cluster id -->
 <property>
 <name>yarn.resourcemanager.cluster-id</name>
 <value>yrc</value>
 </property>
 <!-- 指定 RM 的名字 -->
 <property>
 <name>yarn.resourcemanager.ha.rm-ids</name>
 <value>rm1,rm2</value>
 </property>
 <!-- 分别指定 RM 的地址 -->
 <property>
 <name>yarn.resourcemanager.hostname.rm1</name>
 <value>master</value>
 </property>
 <property>
 <name>yarn.resourcemanager.hostname.rm2</name>
 <value>slave1</value>
 </property>
 <!-- 指定 zk 集群地址 -->
 <property>
 <name>yarn.resourcemanager.zk-address</name>
 <value>master:2181,slave1:2181,slave2:2181</value>
 </property>
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
 <property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>86400</value>
 </property>
 <!-- 启用自动恢复 -->
 <property>
 <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
 </property>
 <!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上 -->
 <property>
 <name>yarn.resourcemanager.store.class</name>
 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
 </property>   
      





</configuration>

13.配置slaves文件

vi /usr/local/hadoop/etc/hadoop/slaves
master
slave1
slave2

14.分发hadoop至slave1和slave2

scp -r /usr/local/src/hadoop slave1:/usr/local/
scp -r /usr/local/src/hadoop slave2:/usr/local/

15.分发jdk至slave1和slave2

scp -r /usr/local/java/jdk1.8.0_221/ slave1:/usr/local/src/
scp -r /usr/local/java/jdk1.8.0_221/ slave2:/usr/local/src/

16.确保三台机器配置生效

source /etc/profile

四、HA 集群启动和进程查看

1.启动zookeeper

进入zookeeper安装目录

bin/zkServer.sh start
bin/zkServer.sh status

三台机器都启动

2.进入hadoop安装目录

bin/hdfs zkfc -formatZK

3.启动全部机器的namenode和datanode

hdfs --daemon start namenode
hdfs --daemon start datanode

4.启动hadoop全部进程

sbin/start-all.sh

全部开启之后的jps进程 （开启namenode,datanode,DFSZKFailoverController）

 启动yarn,在master上运行

start-yarn.sh

五、修改windows hosts文件

1. C:\Windows\System32\drivers\etc目录下找到hosts文件

2.修改文件可以读写属性

3.增加

192.168.169.130 master master.centos.com
192.168.169.128 slave1 slave1.centos.com
192.168.169.129 slave2 slave2.centos.com

 4.在浏览器访问master:50070

访问slave1:50070

 hadoopHA所有配置结束，有什么不懂欢迎留言

Root.qc
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Hadoop HA部署
04-01
Hadoop HA部署流程文件 Hadoop HA部署流程文件 Hadoop HA部署流程文件 Hadoop HA部署流程文件
hadoop 高可用性HA部署
01-07
hadoop HA 高可用性 本文提供了一个HDFS 的高可用性（HA ）功能的概述，以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解
HA集群部署手册
08-28
NameNode主备切换 ResourceManager主备切换 Master主备切换
centos7通过ambari布署hadoop HA集群
09-03
centos7通过ambari快速布署hadoop HA集群
Hadoop2.0分布式HA环境部署
01-31
Hadoop2.0分布式HA环境部署,原理介绍，对比hadoop1.0优化点，支持HA机制，介绍了zookeeper安装，
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
Hadoop HA 集群部署模式 什么是 HA ? HA是High Availability的简写,即高可用，指当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。（简言之，有两台机器...
Hadoop HA 部署步骤
03-14
这是Hadoop HA的高可用性环境配置步骤，需要提前配置好Hadoop和zookeeper，按照上面的步骤就可以配置HA。
HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx
06-20
YARN HA 配置、启动与验证;YARN HA 配置、启动与验证;任务一 配置SSH无密钥登录（slave2为主节点）;任务二 修改yarn-site.xml配置文件（一）;任务二 修改yarn-site.xml配置文件（二）;任务二 修改yarn-site.xml配置...
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
YARN HA 测试Job YARN HA 测试Job 序号 任务名称 任务一 准备MapReduce输入文件 任务二 将输入文件上传到HDFS 任务三 运行MapReduce程序测试Job 任务一 准备MapReduce输入文件 在master主节点，使用 root 用户登录，...
HadoopHA集群部署、ZooKeeper安装与配置教学课件.pptx
06-20
ZooKeeper安装与配置;基础环境配置;任务一 上传安装包到第1个Zookeeper节点并解压;任务二 编辑Zookeeper配置文件;任务三 创建zkdata和zkdatalog文件夹;任务四 设置Zookeeper节点对应的ID（myid）;...
07-Hadoop安装部署.pdf
02-08
Hadoop安装思维导图，便捷整理思路，实操hadoop伪分布、Hadoop全分布、Hadoop-HA、Hadoop-HA故障转移
Hadoop部署实践
06-18
hadoop本地、伪分布、真分布、HA四种模式的实践文档。基于vmware搭建的环境。
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
HDFS HA 配置、启动与验证;HDFS HA 配置、启动与验证;任务一 修改core-site.xml配置文件;任务二 修改hdfs-site....任务五 部署完成之后常规启动HDFS HA集群;任务六 验证HDFS HA集群（一）;任务六 验证HDFS HA集群（二）
HA模式部署hadoop1
08-04
第一步：我们需要获取到昨天日志文件的名称 第二步：在HDFS上面使用昨天的日期创建目录 第三步：将昨天的日志文件上传到刚创建的HDFS目录中 第四步：要考虑到脚
hadoop详细视频教程
07-15
38_hadoop_hadoop2.5.2的安装部署01 39_hadoop_hadoop2.5.2的安装部署02 40_hadoop_hadoop2.5.2的安装部署03 41_hadoop_hadoop2.5.2的安装部署04 42_hadoop_hadoop2.5.2的安装部署05 43_hadoop_hadoop2.5.2的安装...
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 ...
9、hadoop高可用HA集群部署及三种方式验证
最新发布
05-29
9、hadoop高可用HA集群部署及三种方式验证 网址：https://blog.csdn.net/chenwewi520feng/article/details/130344998 本文介绍hadoop HA环境部署。本文分为三部分，即HA集群规划、HA集群部署和HA集群验证 前提依赖：...
新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发
07-20
第五天 hadoop2.x中HA机制的原理和全分布式集群安装部署及维护 01-zookeeper.avi 02-zookeeper2.avi 03-NN高可用方案的要点1.avi 04-hadoop-HA机制的配置文件.avi 05-hadoop分布式集群HA模式部署.avi 06-hdfs...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
hadoop分布式部署
03-27
Hadoop是一个分布式系统，它的部署需要在多个节点上进行。以下是Hadoop分布式部署的步骤： 1. 确定节点角色：在Hadoop集群中，有三种节点类型：NameNode、DataNode和JobTracker。NameNode是主节点，DataNode是存储数据的节点，JobTracker是任务调度的节点。在部署Hadoop集群前，需要确定各节点的角色。 2. 安装Java和Hadoop：在所有节点上安装Java和Hadoop。 3. 配置Hadoop环境变量：在每个节点上设置Hadoop环境变量，以便在任何地方都可以运行Hadoop命令。 4. 配置Hadoop集群：在NameNode上，配置hdfs-site.xml和core-site.xml文件。在DataNode上，配置hdfs-site.xml文件。在JobTracker上，配置mapred-site.xml和core-site.xml文件。 5. 启动Hadoop集群：在NameNode上启动Hadoop集群。然后在DataNode和JobTracker上启动Hadoop集群。 6. 测试Hadoop集群：使用Hadoop命令行工具测试Hadoop集群是否正常工作。 7. 监控Hadoop集群：使用Hadoop自带的监控工具监控Hadoop集群的运行状态。 以上是Hadoop分布式部署的基本步骤，部署过程可能会因为环境和需求的不同而有所不同。在实际操作中，还需要注意安全和性能等方面的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Root.qc

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值