Hadoop HA高可用集群搭建

最新推荐文章于 2024-04-27 23:48:58 发布
最新推荐文章于 2024-04-27 23:48:58 发布
阅读量792 收藏 2
点赞数 2
分类专栏： 学习笔记 研发常用基础知识 文章标签： hadoop 分布式 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Juuunn/article/details/104884670
版权

文章目录

需知

本文仅为记录hadoop高可用平台搭建过程，作者新手，凭记忆写的，如果有失败的请不要见怪。。仅为交流

准备

在这里插入图片描述
jdk： jdk1.8.0_144
hadoop： hadoop-3.1.2
zookeeper： apache-zookeeper-3.5.7-bin
虚拟机： Vmware15
Linux： centos-7
登录权限：
root
文件存放
#hadoop，jdk，zookeeper均再root目录下新建文件夹bigdata然后在bigdata中新建三个文件夹存放
在这里插入图片描述
#data 和 name的数据都在hadoop文件的hdfs下
#temp临时文件也在hadoop下
#zkdata和zklogs也都在hadoop下

在这里插入图片描述

开始

基础五步

  1. 修改hostname
  2. 修改/etc/hosts
  3. ssh免密（每台机子都互相免密）
  4. jdk安装以及环境变量配置
  5. 关闭防火墙
    以上五步骤在每台机子都要操作，不做过多叙述。附一些linux命令
#centos-7 关闭防火墙
systemctl status firewalld.service（查看状态）

systemctl stop firewalld.service（关闭）

systemctl status firewalld.service

systemctl disable firewalld.service（永久关闭）


#ssh免密码
##本机
ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

##将公钥复制到其他机器
ssh-dopy-id -i hostname


#分发文件
scp -rq hadoop-3.1.2 slave1:/root/bigdata/hadoop/

#启动zookeeper集群
##启动之前需要在zkdata下建立一个myid来存放server对应的序号
zkServer.sh status（查看状态）

zkServer.sh start（启动zookeeper集群）

zkServer.sh stop（停止）

#启动journalnode
sbin/hdfs --daemon start journalnode

#格式化ZKFC
hdfs -daemon formatZK

#启动ZKFC
hdfs --daemon start zkfc


#启动hdfs
sbin/hdfs --daemon start namenode
sbin/hdfs --daemon start datanode
sbin/hdfs --daemon start namenode

#启动yarn
yarn --daemon start resourcemanager
start-yarn.sh

zookeeper集群搭建

首先将conf目录下的zoo_sample文件改成zoo
然后修改dataDir路径并添加dataLogDir路径

dataDir=/root/bigdata/hadoop/hadoop-3.1.2/zkdata
dataLogDir=/root/bigdata/hadoop/hadoop-3.1.2/zklogs

在最后添加server配置，牢记这个序号，会在zkdata中vim一个myid里面需要填写对应的数字

server.1=masternode:2888:3888
server.2=namenode:2888:3888
server.3=slave0:2888:3888

hadoop集群配置

进入zkdata目录下创建一个myid文件，里面放上server的序号

vim myid

进入/etc/hadoop下修改 hadoop-env.sh 文件，增加环境变量信息

[root@hadoop100 hadoop]# vi hadoop-env.sh
export JAVA_HOME=/root/bigdata/jdk/jdk1.8.0_144
export HDFS_DATANODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"
export HDFS_ZKFC_USER="root"
export HDFS_JOURNALNODE_USER="root"

修改 workers 文件，增加所有datanode节点的主机名，一个一行

[root@hadoop100 hadoop]# vi workers
masternode
namenode
slave0
slave1

修改xml文件

#hdfi-site,xml
------------------------------------------------------------------------------------------------

<configuration>

    <!-- 指定副本数 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

    <!-- 配置namenode和datanode的工作目录-数据存储目录 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/bigdata/hadoop/hadoop-3.1.2/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/bigdata/hadoop/hadoop-3.1.2/hdfs/data</value>
    </property>

    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>dfs.nameservices</name>
        <value>namenodes</value>
    </property>

    <!-- namenodes下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.namenodes</name>
        <value>nn1,nn2</value>
    </property>

    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.namenodes.nn1</name>
        <value>masternode:9000</value>
    </property>

    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.namenodes.nn1</name>
        <value>masternode:9870</value>
    </property>

    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.namenodes.nn2</name>
        <value>namenode:9000</value>
    </property>

    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.namenodes.nn2</name>
        <value>namenode:9870</value>
    </property>

    <!-- 指定NameNode的edits元数据的共享存储位置。也就是JournalNode列表 
                          该url的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId 
        journalId推荐使用nameservice，默认端口号是：8485 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://masternode:8485;namenode:8485;slave0:8485/namenodes</value>
    </property>

    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/root/bigdata/hadoop/hadoop-3.1.2/journaldata</value>
    </property>

    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.namenodes</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>

    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>

    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>

    <property>
        <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
        <value>60000</value>
    </property>
</configuration>


------------------------------------------------------------------------------------------------
#core-site.xml
------------------------------------------------------------------------------------------------



<configuration>
    <!-- 指定hdfs的nameservice为masternode -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenodes/</value>
    </property>

    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/bigdata/hadoop/hadoop-3.1.2/temp</value>
    </property>

    <!-- 指定zookeeper地址 -->
<property>
        <name>ha.zookeeper.quorum</name>
        <value>masternode:2181,namenode:2181,slave0:2181</value>
    </property>

    <!-- hadoop链接zookeeper的超时时长设置 -->
    <property>
        <name>ha.zookeeper.session-timeout.ms</name>
        <value>1000</value>
        <description>ms</description>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>

</configuration>


------------------------------------------------------------------------------------------------
#yarn-site.xml
------------------------------------------------------------------------------------------------


<configuration>
    <!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>

    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>masternode</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>namenode</value>
    </property>

    <!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>masternode:2181,namenode:2181,slave0:2181</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>

    <!-- 启用自动恢复 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <!-- 制定resourcemanager的状态信息存储在zookeeper集群上 -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
</configuration>

#修改启动脚本

 #进入sbin目录修改 start-dfs.sh，stop-dfs.sh 这两个脚本文件，在文件前面增加如下内容
[root@hadoop100 sbin]# vi start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
[root@hadoop100 sbin]# vi stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
#修改 start-yarn.sh，stop-yarn.sh 这两个脚本文件，在文件前面增加如下内容
[root@hadoop100 sbin]# vi start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
[root@hadoop100 sbin]# vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

然后分发jdk，hadoop，zookeeper
配置环境变量：

#java hadoop
export JAVA_HOME=/root/bigdata/jdk/jdk1.8.0_144
export HADOOP_HOME=/root/bigdata/hadoop/hadoop-3.1.2
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH


#zookeeper
export ZOOKEEPER_HOME=/root/bigdata/zookeeper/apache-zookeeper-3.5.7-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin

按照顺序启动集群

启动zookeeper

zkServer.sh status（查看状态）

zkServer.sh start（启动zookeeper集群）

zkServer.sh stop（停止）

启动 zookeeper/bin/zkCli.sh，登录后ls / 能看到hadoop-ha即可
quit退出登录
在journalnode上分别启动

sbin/hdfs --daemon start journalnode

格式化namenode

bin/hdfs namenode -format

启动namenode

sbin/hadoop-daemon.sh start namenode

nn2上拉取namenode数据

bin/hdfs namenode -bootstrapStandby

格式化ZKFC

hdfs -daemon formatZK

启动集群

sbin/start-all.sh

查看进程：jps

masternode
在这里插入图片描述
namenode
在这里插入图片描述
slave0
在这里插入图片描述
slave1
在这里插入图片描述

查看Web UI

在这里插入图片描述
在这里插入图片描述
两个NN一个active一个standby
在这里插入图片描述
四个datanode

至此，hadoop高可用集群搭建完毕

Biggoose1125
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop HA 高可用集群搭建
悦分享
07-15 262
其中，active状态的NameNode负责所有的客户端操作，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换。8)启动ZooKeeperFailoverCotroller，在ch01,ch02机器上依次执行以下命令，这个时候再浏览50070端口，可以发现ch01变成active状态了，而m2还是standby状态。2)在每台机器上执行下面的命令，可以查看状态，在ch01上是leader，其他机器是follower。6)启动所有的datanode，在ch01上执行。...
基于ZK的Hadoop HA高可用集群搭建
Zonzereal的博客
01-12 3864
什么是高可用 高可用性H.A.（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。 HA三种工作方式 （1）主从方式 （非对称方式） 工作原理：主机工作，备机处于监控准备状况；当主机宕机时，备机接管主机的一切工作，待主机恢复正常后，
Hadoop-HA(高可用 )集群搭建文档
04-09
基于Hadoop-HA(高可用 )集群搭建目录： 一．Hadoop集群IP以及角色分配表 2 二．安装软件 2 三. 基础环境部署 2 四．安装Hadoop 6 五．安装Zookeeper集群 7 六．配置高可用集群 8 七．启动相应的服务进程 12 八．测试 13 附录．出现的问题集锦 15
Hadoop高可用集群搭建
weixin_53788274的博客
03-22 259
1.时区同步（三台虚拟机都要进行） 安装–修改ip–启动等待同步 yum search ntp yum install -y ntp vi /etc/ntp.conf进入文件内修改 对hadoop9/hadoop11/hadoop12分别更改如下： 启动ntp： /bin/systemctl start ntpd.service 开始同步： ntpstat 等待十几分钟，完成同步 三台设备都出现如下链接成功的界面，则同步完成，三台虚拟机的时间都相同了 2.Zookeeper 安装–配置（要添加的几
Hadoop-HA模式（详解）
窃格拉瓦
08-21 2万+
一、概述 之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)： namenode 高可用 yarn 高可用 1、Namenode HA Namenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模...
hadoop中使用 jps的正确姿势
Nice的博客
09-10 1万+
Hadoop 的 jps 命令 jps的主要功能是查看java接口的进程号 jps(Java Virtual Machine Process Status Tool) 是JDK 提供给我们的一个查看当前所有java进程PID的命令，缺点是只支持当前用户的Java进程，要显示其他用户还是只能够 用ps命令 1.jps命令类似于Linux的ps命令 ，直接运行jps命令，显示的是java程序的进程I...
超详细Hadoop HA高可用集群搭建及常见问题处理
热门推荐
香宝的私房小厨
06-19 3万+
最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。 1 , 前期准备 1.0 , 准备Linux环境。 安装vmware linux虚拟机，因为Centos 7 和Centos 6版本部分命令差别还挺多了，所以我本次用的Centos 6版本，用什么你随意，高兴就...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
最新发布
2401_84170623的博客
04-27 679
DataNode | 有 | 有 | 有 | 存储实际数据，参与数据块的读写操作 || NodeManager | 有 | 有 | 有 | 负责管理容器生命周期，与ResourceManager通信 |
Hadoop HA高可用集群搭建测试
qq_34382453的博客
11-29 1883
摘要   在Hadoop2.0之前，只有一个NameNode，若NameNode机器出现故障，那么整个集群都无法使用。这个架构存在单点故障的隐患。之后推出了HA的架构，即有两个NameNode，一台为active状态，一台为standby状态。active NameNode对外提供服务，standby实时同步了active NameNode的元数据，当active NameNode节点出现故障，s...
Hadoop HA高可用集群搭建详细过程(亲测四台有效）
qq_43532434的博客
06-17 5490
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Hadoop完全高可用集群启动流程
qq_31945139的博客
10-27 966
zookeeper作用：2个namenode做高可用故障转移使用 1、启动zk：1、2、3、4节点 整体执行：[root@node01 hadoop]zkServer.sh start 2、查看ZK服务状态: 整体执行：[root@node01 hadoop]zkServer.sh status 注 a. 启动ZK服务: sh bin/zkServer.sh start b. 查看Z...
Hadoop3 HA高可用集群搭建
等等等等等再等
12-20 3303
文章目录1. linux ssh免密登陆配置2. java环境配置3. Hadoop完全分布式(full)4. hadoop高可用集群搭建（HA）4.1 安装配置zookeeper4.2 安装配置hadoop HA4.3 hadoop HA集群的启动步骤 1. linux ssh免密登陆配置 hadoop节点之间的通讯是通过ssh进行的，SSH默认都是需要密码的，开启免密钥登录会减少很多麻烦。操作...
（五）Hadoop HA高可用集群的配置-Hadoop HA集群模式的安装
T.machine的博客
12-07 3660
目录 一、目的及要求： 实验目的： 实验要求： 二、环境要求： 集群规划： 三、具体步骤： 项目一：Hadoop的基本安装配置 项目二：Hadoop高可用完全分布模式配置 项目三：同步安装和配置 项目四：Hadoop高可用完全分布模式格式化和启动 四、可能遇到的问题： HA的架构 Hadoop HA 即Hadoop的高可用，不同于普通的namenode+s...
搭建Hadoop HA 高可用集群——四台虚拟机（CentOS）
qq_43313215的博客
06-17 3149
搭建Hadoop HA 高可用集群——四台虚拟机（CentOS） 一、Hadoop 系统架构 1. Hadoop1.x 和Hadoop 2.x hadoop 1.x是由分布式计算框架MapReduce和分布式存储系统HDFS两个分支构成的。其中HDFS由一个Namenode和多个DateNode组成。只有一个Namenode,所有元数据由唯一的Namenode负责管理,可想而之，当这个NameNode挂掉时，整个集群基本也就不可用了。 ​ Hadoop 2.x由HDFS、MapReduce
Hadoop分布式高可用HA集群搭建笔记（含Hive之构建）
枫枫的抽屉
10-28 6293
一、Zookeeper三节点搭建 1.1 设备规划 HOSTNAME IP 操作系统 masterndoe 192.168.122.128 Manjaro 20.1 slavenode1 192.168.122.130 CentOS 7.4 slavenode2 192.168.122.131 CentOS 7.4 1.2 环境准备 1.2.1 新增hadoop用户 已有 没有的话使用该命令 groupadd hadoop useradd -g hadoop -m -d
Hadoop 2.0 HA 3节点高可用集群搭建
leanaoo的博客
10-22 2553
概览 1.集群规划 2.准备 3.修改Hadoop配置文件 4.复制内容 5.启动集群 6.查看jps 7.测试 1.集群规划 HDFS HA背景 HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。 影响HDFS集群不可用主要包括以下两种情况：一是NameNod...
Hadoop-HA高可用分布式集群总结
Biubiubiu!
03-14 1138
觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录Hadoop-HA高可用分布式集群一、HA概述二、HDFS-HA 工作机制1、HDFS-HA 工作要点2、HDFS-HA 自动故障转移工作机制三、总体配置及准备规划1、集群规划2、准备工作3、修改配置文件四、HDFS-HA 集群配置1、配置HDFS-HA集群2、配置 HDFS-HA 自动故障转移五、YARN-HA 配置1、YARN-HA 工作机制...
"Hadoop3.0高可用分布式集群搭建详解
Hadoop3.0分布式集群搭建(HA)详细文档是一份详细描述Hadoop3.0高可用分布式集群搭建的文档。在开始搭建Hadoop分布式集群之前，需要准备好3台主机，并在每台主机上安装好Linux系统，并完成网络配置和系统配置。文档...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值