Linux Hadoop集群HA高可用

最新推荐文章于 2022-04-29 09:30:00 发布
最新推荐文章于 2022-04-29 09:30:00 发布
阅读量172 收藏
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21751781/article/details/99656117
版权

集群规划

在这里插入图片描述

安装Zookeeper

  1. 解压：tar -zxvf zookeeper-3.4.14.tar.gz
  2. 配置环境变量：
 vim /etc/profile
 export ZOOKEEPER=/opt/zookeeper-3.4.14
 export PATH=$ZOOKEEPER/bin:$PATH
 source /etc/profile

监测配置输入zk，按下Tab，会有提示信息

  1. 配置zookeeper
    如果不存在则复制配置文件
cp zoo_sample.cfg zoo.cfg

配置

	vim /opt/zookeeper-3.4.14/bin/zoo.cfg 
	dataDir=/opt/zookeeper-3.4.14/tmp
	dataLogDir=/opt/zookeeper-3.4.14/tmpLog

最后追加，.1.2.3是zookeeper选取leader的顺序,还有一个默认顺序数据多的作为leader，2888，3888外部传递接口和 zookeeper集群通信接口

	server.1=192.168.1.191:2888:3888
	server.2=192.168.1.192:2888:3888
	server.3=192.168.1.193:2888:3888

配置完成后创建目录：

	mkdir /opt/zookeeper-3.4.14/tmp
	mkdir /opt/zookeeper-3.4.14/tmpLog

在目录中追加：
192.168.1.191追加：

echo 1 > /opt/zookeeper-3.4.14/tmp/myid

192.168.1.192追加

echo 2 > /opt/zookeeper-3.4.14/tmp/myid

192.168.1.193追加：

echo 3 > /opt/zookeeper-3.4.14/tmp/myid

分发到其他机器：

scp -r /opt/zookeeper-3.4.14 node03:/opt/

注意：分发到其他机器不能忘记配置环境变量

  1. 每台都启动
    192.168.1.191：zkServer.sh start
    192.168.1.192：zkServer.sh start
    192.168.1.193：zkServer.sh start

免密钥

配置node02到node01免密钥，同时node01到node02，node03，node0都要免密钥配置相同
配置node02到node01免密钥

	生成密钥：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
	追加给自己：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
	添加权限：chmod 0600 ~/.ssh/authorized_keys
	将公钥给其他机器：scp id_rsa.pub node01:/root/.ssh/node02.pub
	其他机器追加公钥：cat ~/.ssh/node02.pub >> ~/.ssh/authorized_keys

配置Hadoop的HA

配置Hadoop的HA如果没有使用过Hadoop看上篇Hadoop集群配置
(注意：需要安装psmisc：yum install psmisc)

  1. 拷贝上一次，保存副本，为轻量级没有zk的hadoop：cp -r hadoop-3.1.2 hadoop-3.1.2-full
  2. 更改hadoop配置
    hdfs-site.xml ,注意HA模式没有Secondary
   <property>
          <name>dfs.replication</name>
          <value>2</value>
    </property>
    <property>
          <name>dfs.name.dir</name>
          <value>/opt/hadoop-3.1.2/hatmp/dfs/name</value>
    </property>
    <property>
          <name>dfs.data.dir</name>
          <value>/opt/hadoop-3.1.2/hatmp/dfs/data</value>
    </property>
    <property>
          <name>dfs.permissions</name>
          <value>false</value>
    </property>
   <!--zk配置-->
    <property>
          <name>dfs.nameservices</name>
          <value>mycluster</value>
    </property>
    <property>
          <name>dfs.ha.namenodes.mycluster</name>
          <value>nn1,nn2</value>
    </property>
    <property>
          <name>dfs.namenode.rpc-address.mycluster.nn1</name>
          <value>node01:8020</value>
    </property>
    <property>
          <name>dfs.namenode.rpc-address.mycluster.nn2</name>
          <value>node02:8020</value>
    </property>
    <property>
          <name>dfs.namenode.http-address.mycluster.nn1</name>
          <value>node01:50070</value>
    </property>
    <property>
          <name>dfs.namenode.http-address.mycluster.nn2</name>
          <value>node02:50070</value>
    </property>
    <property>
          <name>dfs.namenode.shared.edits.dir</name>
          <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
    </property>
    <property>
          <name>dfs.journalnode.edits.dir</name>
          <value>/opt/hadoop-3.1.2/ha/jn</value>
    </property>
    <property>
          <name>dfs.client.failover.proxy.provider.mycluster</name>
          <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
          <name>dfs.ha.fencing.methods</name>
          <value>sshfence</value>
    </property>
    <property>
         <name>dfs.ha.fencing.ssh.connect-timeout</name>
          <value>30000</value>
    </property>
    <property>
          <name>dfs.ha.fencing.ssh.private-key-files</name>
          <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
          <name>dfs.ha.automatic-failover.enabled</name>
          <value>true</value>
    </property>
  1. core-site.xml的配置
    <property>
          <name>ha.zookeeper.quorum</name>
          <value>node02:2181,node03:2181,node04:2181</value>
    </property>
    <property>
          <name>fs.defaultFS</name>
          <value>hdfs://mycluster</value>
    </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/hadoop-3.1.2/hatmp</value>
    </property>
  1. 将配置文件分发
scp core-site.xml  hdfs-site.xml node02:/opt/hadoop-3.1.2/etc/hadoop
scp core-site.xml  hdfs-site.xml node03:/opt/hadoop-3.1.2/etc/hadoop
scp core-site.xml  hdfs-site.xml node04:/opt/hadoop-3.1.2/etc/hadoop
  1. 上面启动了zk，下面启动journalnode：hadoop-daemon.sh start journalnode
    node01：hadoop-daemon.sh start journalnode
    node02：hadoop-daemon.sh start journalnode
    node03：hadoop-daemon.sh start journalnode
  2. 下面格式化：hdfs namenode -format
  3. 启动namenode：hadoop-daemon.sh start namenode
  4. 将格式化复制到下面几台的namenode,也就是node02上使用命令复制：hdfs namenode -bootstrapStandby
  5. 使用zkfc格式化zookeeper：hdfs zkfc -formatZK
  6. 最后启动hadoop：start-dfs.sh

配置yarn

vim yarn-site.xml追加如下

<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
 </property>
<!--该cluster-id不能与nameService相同-->
<property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>myclusteryarn</value>
 </property>
<!--指定2台Resource Manager (即Name Node )节点-->
<property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>node01</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>node02</value>
</property>
<!--指定zookeeper 节点-->
<property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node02:2181,node03:2181,node04:2181</value>
</property>
<!--启用自动恢复，当任务进行一半，rm坏掉，就要启动自动恢复，默认是false-->   
<property>  
        <name>yarn.resourcemanager.recovery.enabled</name>  
        <value>true</value>  
</property>
<!--指定resourcemanager的状态信息存储在zookeeper集群，默认是存放在FileSystem里面。-->   
<property>  
        <name>yarn.resourcemanager.store.class</name>  
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>  
</property>

手动启动：start-yarn.sh
关闭：stop-yarn-sh

附录

rm -rf /opt/hadoop-3.1.2/ha
rm -rf /opt/hadoop-3.1.2/hatmp
rm -rf /opt/hadoop-3.1.2/tmp
rm -rf /opt/zookeeper-3.4.14/tmp/version-2/
rm -rf /opt/zookeeper-3.4.14/tmp/zookeeper_server.pid
rm -rf /opt/hadoop-3.1.2/tmp/dfs/name/
rm -rf /opt/hadoop-3.1.2/tmp/dfs/data/
mkdir /opt/hadoop-3.1.2/tmp/dfs/name/
mkdir /opt/hadoop-3.1.2/tmp/dfs/data/
rm -rf /opt/hadoop-3.1.2/hatmp/dfs/name/
rm -rf /opt/hadoop-3.1.2/hatmp/dfs/data/
mkdir /opt/hadoop-3.1.2/hatmp/dfs/name/
mkdir /opt/hadoop-3.1.2/hatmp/dfs/data/

luoyuOvO
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop HA高可用详细配置，100分也不贵
04-11
Hadoop HA高可用详细配置，100分也不贵Hadoop HA高可用详细配置，100分也不贵Hadoop HA高可用详细配置，100分也不贵Hadoop HA高可用详细配置，100分也不贵
linux 安装hadoop 的四大运行模式——HA高可用分布模式（版本2.9.1）
weixin_39435629的博客
12-22 329
hadoop的HA高可用配置：hadoop的名称节点部署在不同的服务器上（简单理解），具体定义请自行查询 备注：简述过程如果前面步骤按步骤进行，后续的步骤就不做详细解释 准备：创建h105作为高可用的名称节点（namenode），一般会再建议一个数据节点（及配置4个数据节点，两个名称节点），但本文作为学习，就不做累述，请自行学习 h105服务器的免登录要求与h101相同： 1、可以免登录（...
Linux下配置Hadoop 高可用环境搭建
tiankongbubian的专栏
07-19 366
一、环境资源 JDK和Hadoop存在版本兼容问题，选择安装包的时候一定要考虑到两个软件的版本兼容，我这里选择的安装版本如下： JDK1.8：https://pan.baidu.com/s/1Rm5ErmvKFjVmwx1uAF90vQ 提取码：kpre Hadoop2.7：https://pan.baidu.com/s/1xynMsryyTDZBn_ApgbuTSA 提取码：ir1l zookeeper-3.4：https://pan.baidu.com/s/1SpIMlWfKgnxd...
Linux下搭建高可用Hadoop集群详解
m0_46657040的博客
08-24 416
下载hadoop的Linux安装包
Hadoop技术之Hadoop HA 机制学习
weixin_34368949的博客
10-19 774
欢迎大家前往腾讯云技术社区，获取更多腾讯海量技术实践干货哦~ 作者：温球良  导语 最近分享过一次关于Hadoop技术主题的演讲，由于接触时间不长，很多技术细节认识不够，也没讲清楚，作为一个技术人员，本着追根溯源的精神，还是有必要吃透，也为自己的工作沉淀一些经验总结。网上关于Hadoop HA的资料多集中于怎么搭建HA，对于HA为什么要这么做描述甚少，所以本文对于HA是如何搭建的暂不介绍，主要...
hadoop HA高可用性完全分布式集群安装
11-05
4. **性能调优**：根据业务需求和负载情况，可能需要对Hadoop集群进行性能调优，例如调整内存大小、线程数等参数。 #### 总结 通过以上步骤，我们可以成功搭建一个Hadoop HA高可用性的完全分布式集群。这种集群...
Hadoop高可用HA集群3.x以上版本安装.docx
08-07
Hadoop高可用HA集群3.x以上版本安装 Hadoop高可用集群安装是指在四个节点上安装Hadoop完全分布式集群，包括zookeeper、Kafka、mysql、Hive、Spark等相关组件。以下是安装过程中的关键步骤和知识点： 1. 安装Hadoop...
hadoop2.6.4-ha集群搭建
04-12
本文将详细介绍如何搭建一个基于Hadoop 2.6.4版本的高可用（HA）集群。 #### 二、Hadoop HA 架构原理 1. **NameNode HA**：Hadoop 2.0引入了NameNode HA机制，该机制支持两个NameNode实例——一个是处于活动状态的...
Hadoop3.0分布式集群搭建(HA)详细文档.docx
05-22
在搭建 Hadoop 3.0 高可用的分布式集群时，需要选择 3 台主机，分别安装好 Linux 系统，并完成 Linux系统的网络配置和系统配置。 1.2 软件规划 需要注意的是：Hadoop 3.0 最低支持 Java8，如果大家还在使用 Java7 ...
hadoopHA搭建资源包
04-01
在IT行业中，Hadoop HA（高可用性）是大数据处理领域的一个重要概念，它确保了Hadoop集群在主节点故障时能够无缝切换到备份节点，从而保持服务的连续性和数据的完整性。本资源包提供了搭建Hadoop HA所需的关键组件，...
hadoop完全分布式搭建HA（高可用）
热门推荐
weixin_41407399的博客
03-25 1万+
首先创建5台虚拟机（最少三台），并且做好部署规划ip地址 主机名 安装软件 进程 192.168.xx.120 master jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192.168.xx.121 master2 jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192...
linux下配置ssh免密(用于Hadoop高可用集群)
zjh_746140129的博客
08-23 1367
本文主要介绍在linux环境如何配置SSH信任,配置SSH信任的目地是,SSH到目标机器上时,不用再输入密码 应用场景：服务器A想要 ssh 无密登录服务器B，则需要在服务器A上面生成密钥，然后远程拷贝到服务器B的.ssh目录下（该目录在用户目录下）   完成目标 Master ssh 无密登录Slavel 、node3、node4、node5  Slavel ssh 无密登录Maste...
linux上部署hadoop集群 HA-QJM篇
weixin_33889665的博客
01-21 83
环境基础篇需要4台机器（一台namenode,三台datanode);HA篇需要8台机器：两台namenode(一台作active nn,另一台作standby nn)，三台datanode，三台zookeeper（也可以省去这三台，把zookeeper daemon部署在其他机器上）。实际上还需要3台journalnode,但因为它比较轻量级，所以这里就把它部署在datan...
搭建大数据Hadoop3.X高可用集群环境
积跬步，至千里。
04-29 1835
详细记录使用三台Linux服务器搭建Hadoop3.X高可用集群环境过程，避免踩坑.........
详解hadoop之三：hadoop高可靠（HA）
fengxuezhiye的专栏
05-31 3715
hadoop1.x中的namenode和secondary namenode 在hadoop1.x中，hdfs集群的namenode存在单点故障，一旦namenode出现故障，整个集群将不可用secondary namenode并没有提供故障转移的能力，集群的可用性受到影响secondary namenode只是周期性的把edit logs文件更新到fsimage，namenode在重启的时候会读...
hadoop（高可用）在linux部署以及集群笔记
lvhao2813的博客
09-25 486
VM虚拟机，克隆后修改ip cd /etc/sysconfig/network-scripts vim ifcfg-ens33 重启 关闭防火墙 yum install iptables-services 查看防护墙状态 service iptables status 关闭 service iptables stop 查看防火墙开机启动状态 chkconfig iptables --list 关闭开机启动 chkconfig iptables off 1. 配置主机名以及解析 vim.
Linux安装Hadoop高可用（包含：zookeeper搭建）教程
weixin_44625972的博客
01-23 1149
之前自己搭建过Hadoop高可用（HA）。 最近自己整理了下也参考了些其他文章，方便自己之后再次使用，也方便大家在搭建时做一个参考。 自动HA节点有如下进程配置正确 实验环境配置如下： hadoop01 namenode、datanode、nodemanager、journalnode、zookeeper(也就是QuorumPeerMain) hadoop02 namenode、resourcemanager、datanode、nodemanager、journalnode、zookeeper(
聚类算法-一种无监督学习方法.docx
最新发布
08-12
聚类算法是一种无监督学习方法，用于将数据集中的数据点自动分组到不同的类别中，这些类别也称为“簇”或“群”。聚类的目标是让同一簇内的数据点尽可能相似，而不同簇之间的数据点尽可能不相似。聚类算法广泛应用于多种领域，如数据挖掘、模式识别、图像分析、信息检索等。 聚类算法的基本概念 无监督学习：聚类算法不需要事先标记数据点的类别标签，而是根据数据本身的相似性来分组。 相似性度量：聚类算法依赖于某种相似性或距离度量来决定数据点之间的相似程度。常用的度量包括欧氏距离、曼哈顿距离等。 目标函数：大多数聚类算法都会尝试最小化某种目标函数，例如簇内的平方误差和（SSE）。 常见的聚类算法 K-Means K-Means 是一种原型聚类算法，它通过迭代地将数据点分配到最近的质心来形成簇，并重新计算每个簇的质心，直到质心不再显著变化为止。 在 Python 的 scikit-learn 库中，可以通过 KMeans 类实现 K-Means 聚类。 层次聚类 层次聚类构建一个树状图（称为树状图或 dendrogram），显示数据点是如何逐渐合并成簇的。 这种算法可以是凝聚型（自底向上）或分裂型（自顶向下）。
45ft集装箱模型3D图纸 STEP格式.zip
08-12
45ft集装箱模型3D图纸 STEP格式.zip
Hadoop 2.6.4 高可用集群配置实战指南
"这篇文档详细介绍了如何在Linux环境中搭建Hadoop 2.6.4版本的高可用(HA)集群，包括配置HDFS和YARN的HA特性，以及集群中的节点角色分配。" 在大数据处理领域，Apache Hadoop是一个开源框架，它允许分布式存储和处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值