Alluxio HA模式部署

最新推荐文章于 2024-08-07 09:31:14 发布
最新推荐文章于 2024-08-07 09:31:14 发布
阅读量622 收藏 1
点赞数
文章标签： hadoop hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kng_007/article/details/125293877
版权
本文档详细介绍了如何配置Alluxio高可用集群，包括下载和解压Alluxio，创建并挂载ramdisk，设置集群节点，配置Zookeeper，以及配置Alluxio的Master和Worker。此外，还提供了测试部署成功和故障切换的步骤。
摘要由CSDN通过智能技术生成

准备

下载文件：wget https://downloads.alluxio.io/downloads/files/2.8.0/alluxio-2.8.0-bin.tar.gz

解压目录：/opt/servers/alluxio

创建目录：mkdir -p /mnt/ramdisk

机器：192.168.3.21（master，worker）192.168.3.22（master，worker）192.168.0.198（worker）

创建目录：/dev/ramdisk

# 创建虚拟盘
modprobe brd rd_nr=1 rd_size=16777216 max_part=0
modprobe brd rd_nr=1 rd_size=5120000 max_part=0

# 格式化虚拟磁盘
mkfs.ext4 /dev/ram0
mke2fs /dev/ram0 
mkfs -t ext2 /dev/ram0

# 挂载虚拟磁盘
mount /dev/ram0 /mnt/ramdisk0

# 写入测试
dd if=/dev/zero of=/mnt/ramdisk/lala2.im bs=8k count=500000 conv=fsync

# 读取测试
dd if=/mnt/ramdisk0//lala.im of=/dev/null bs=8

# 卸载虚拟磁盘
fuser -m /dev/ram0/
ps aux | grep 9236
kill -9 10167
umount /dev/ram0

HA 配置

搭建高可用集群前的准备:

  • ①确保Zookeeper服务已经运行

  • ②一个单独安装的可靠的共享日志存储系统(可用HDFS或S3等系统)

  • ③这个配置针对Alluxio 2.x版本，不适用于1.x版本

  • ④需要事先创建好ramdisk挂载目录

配置hive alluxio文件系统：core-site.xml

<configuration>
  <property>
      <name>fs.alluxio.impl</name>
      <value>alluxio.hadoop.FileSystem</value>
      <description>The Alluxio FileSystem (Hadoop 1.x and 2.x)</description>
  </property>
  <property>
      <name>fs.AbstractFileSystem.alluxio.impl</name>
      <value>alluxio.hadoop.AlluxioFileSystem</value>
      <description>The Alluxio AbstractFileSystem (Hadoop 2.x)</description>
  </property>
</configuration>

在所有机器上配置alluxio-env.sh (/usr/java/jdk1.8.0_291)

ALLUXIO_HOME=/opt/servers/alluxio
ALLUXIO_LOGS_DIR=/opt/servers/alluxio/logs
ALLUXIO_RAM_FOLDER=/mnt/ramdisk
JAVA_HOME=/usr/java/jdk1.8.0_291
ALLUXIO_WORKER_JAVA_OPTS=" -XX:+PrintGCDetails -XX:+PrintTenuringDistribution -XX:+PrintGCTimeStamps"
ALLUXIO_MASTER_JAVA_OPTS=" -Xms2048M -Xmx4096M"
ALLUXIO_JAVA_OPTS+=" -Djava.library.path=/opt/cloudera/parcels/CDH/lib/hadoop"

在3.21机器上配置Master和Worker：alluxio-site.properties

# 192.168.3.21    Master Worker
# Common properties
alluxio.master.hostname=192.168.3.21
alluxio.underfs.hdfs.configuration=/etc/hadoop/conf/core-site.xml:/etc/hadoop/conf/hdfs-site.xml
alluxio.master.mount.table.root.ufs=hdfs://nameservice1/user/alluxio/ha/
# Worker properties
alluxio.worker.memory.size=512MB
alluxio.worker.tieredstore.levels=1
alluxio.worker.tieredstore.level0.alias=MEM
alluxio.worker.tieredstore.level0.dirs.path=/mnt/ramdisk
# HA properties
alluxio.zookeeper.enabled=true
alluxio.zookeeper.address=192.168.0.201:2181,192.168.3.21:2181,192.168.3.22:2181
alluxio.master.journal.type=UFS
alluxio.master.journal.folder=hdfs://nameservice1/user/alluxio/journal/
alluxio.worker.block.heartbeat.timeout.ms=300000
alluxio.zookeeper.session.timeout=120s
# User properties
alluxio.user.file.readtype.default=CACHE_PROMOTE
alluxio.user.file.writetype.default=ASYNC_THROUGH
alluxio.user.metrics.collection.enable=true
alluxio.master.metrics.time.series.interval=1000
# Security properties
alluxio.security.authorization.permission.enabled=true
alluxio.security.authentication.type=SIMPLE
alluxio.master.security.impersonation.hive.users=*
alluxio.master.security.impersonation.hive.groups=*
alluxio.master.security.impersonation.yarn.users=*
alluxio.master.security.impersonation.yarn.groups=*
alluxio.master.security.impersonation.hdfs.users=*
alluxio.master.security.impersonation.hdfs.groups=*

在3.22机器上配置Master和Worker：alluxio-site.properties

# 192.168.1.102      Master Worker
# Common properties
alluxio.master.hostname=192.168.3.22
alluxio.underfs.hdfs.configuration=/etc/hadoop/conf/core-site.xml:/etc/hadoop/conf/hdfs-site.xml
alluxio.master.mount.table.root.ufs=hdfs://nameservice1/user/alluxio/ha/
# Worker properties
alluxio.worker.memory.size=512MB
alluxio.worker.tieredstore.levels=1
alluxio.worker.tieredstore.level0.alias=MEM
alluxio.worker.tieredstore.level0.dirs.path=/mnt/ramdisk
# HA properties
alluxio.zookeeper.enabled=true
alluxio.zookeeper.address=192.168.0.201:2181,192.168.3.21:2181,192.168.3.22:2181
alluxio.master.journal.type=UFS
alluxio.master.journal.folder=hdfs://nameservice1/user/alluxio/journal/
alluxio.worker.block.heartbeat.timeout.ms=300000
alluxio.zookeeper.session.timeout=120s
# User properties
alluxio.user.file.readtype.default=CACHE_PROMOTE
alluxio.user.file.writetype.default=ASYNC_THROUGH
alluxio.user.metrics.collection.enable=true
alluxio.master.metrics.time.series.interval=1000
# Security properties
alluxio.security.authorization.permission.enabled=true
alluxio.security.authentication.type=SIMPLE
alluxio.master.security.impersonation.hive.users=*
alluxio.master.security.impersonation.hive.groups=*
alluxio.master.security.impersonation.yarn.users=*
alluxio.master.security.impersonation.yarn.groups=*
alluxio.master.security.impersonation.hdfs.users=*
alluxio.master.security.impersonation.hdfs.groups=*

在0.198机器上配置Master和Worker：alluxio-site.properties

# 192.168.0.198      Worker
# Common properties
# Worker不需要写alluxio.master.hostname参数和alluxio.master.journal.folder参数
alluxio.underfs.hdfs.configuration=/etc/hadoop/conf/core-site.xml:/etc/hadoop/conf/hdfs-site.xml
alluxio.master.mount.table.root.ufs=hdfs://nameservice1/user/alluxio/ha/
# Worker properties
alluxio.worker.memory.size=512MB
alluxio.worker.tieredstore.levels=1
alluxio.worker.tieredstore.level0.alias=MEM
alluxio.worker.tieredstore.level0.dirs.path=/mnt/ramdisk
# HA properties
alluxio.zookeeper.enabled=true
alluxio.zookeeper.address=192.168.0.201:2181,192.168.3.21:2181,192.168.3.22:2181
alluxio.worker.block.heartbeat.timeout.ms=300000
alluxio.zookeeper.session.timeout=120s
# User properties
alluxio.user.file.readtype.default=CACHE_PROMOTE
alluxio.user.file.writetype.default=ASYNC_THROUGH
alluxio.user.metrics.collection.enable=true
alluxio.master.metrics.time.series.interval=1000
# Security properties
alluxio.security.authorization.permission.enabled=true
alluxio.security.authentication.type=SIMPLE
alluxio.master.security.impersonation.hive.users=*
alluxio.master.security.impersonation.hive.groups=*
alluxio.master.security.impersonation.yarn.users=*
alluxio.master.security.impersonation.yarn.groups=*
alluxio.master.security.impersonation.hdfs.users=*
alluxio.master.security.impersonation.hdfs.groups=*

在所有机器上指定Master和Worker节点

#vim masters
192.168.3.21
192.168.3.22

#vim workers
192.168.3.21
192.168.3.22
192.168.0.198

测试部署是否成功

./alluxio format
./alluxio-start.sh all SudoMount
./alluxio fsadmin report
./alluxio runTests    # 如果出现Passed the test则说明部署成功

测试高可用模式的自动故障处理: (假设此时hadoop101位primary master)

ssh hadoop101
jps | grep AlluxioMaster
kill -9 <AlluxioMaster PID>
alluxio fs leader  # 显示新的primary Master(可能需要等待一小段时间选举)
桃子酱K
关注
ALLUXIO 1.7.0 集群Master HA容错部署的案例与解读
段智华的博客
02-12 1788
1.3.1      ALLUXIO 1.7.0 集群Master HA容错部署的案例与解读作为一个Master/Slaves架构的分布式系统，都会存在单点故障。在Alluxio分布式系统中，Alluxio的容错通过多Master实现。同一时刻，有多个Master进程运行。其中一个被选举为Leader，作为所有Workers和 Clients的通信首选。其余Master进入备用状态，和Leader...
Alluxio 1.7.0 透明命名机制及统一命名空间的案例与解读 以及Alluxio 1.7.0 HA容错安装部署
段智华的博客
02-15 1442
Alluxio 1.7.0 使用统一透明命名空间，通过使用其透明命名机制以及挂载API，Alluxio支持在不同存储系统之间对数据进行高效的管理。在Alluxio重新安装的基础上，再次安装Alluxio 1.7.0 HA容错。然后进行Alluxio 1.7.0 透明命名机制及统一命名空间的案例与解读在Alluxio重新安装的基础上，再次安装Alluxio 1.7.0 HA容错1，在Master节点...
Alluxio安装部署
weixin_47924795的博客
11-11 2248
Alluxio 是世界上第一个虚拟的分布式存储系统，以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁，使应用程序能够通过一个公共接口连接到许多存储系统。Alluxio以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。简单来说，Alluxio是一个分布式文件系统，是数据驱动框架或应用如Apache Spark、Presto、Tensorflow、Apache HBase、Apache Hive 或 Apache。
hadoop——HA集群部署
m0_65809235的博客
06-28 1276
各节点布置NameNodeDataNodeNameNodeDataNode。
Alluxio 开源项目安装与使用教程
最新发布
gitblog_00733的博客
08-07 522
Alluxio 开源项目安装与使用教程 alluxioAlluxio, data orchestration for analytics and machine learning in the cloud项目地址:https://gitcode.com/gh_mirrors/al/alluxio 本文档将引导您了解并使用Alluxio项目，包括其目录结构、启动文件以及配置文件。 1. 项目目录结...
Alluxio部署（集群模式）
weixin_30603633的博客
11-30 249
下载（pre-build for Hadoop 2.7) http://www.alluxio.org/download` 解压 tar -xvf alluxio-1.3.0-hadoop2.7-bin.tar 生成配置文件 ./bin/alluxio bootstrapConf 10.10.20.204 添加worker 编辑conf/workers文件，将worker的...
Alluxio的安装部署
weixin_46307478的博客
12-12 2458
Alluxio的安装部署 快速上手指南 - Alluxio v2.6.2 (stable) Documentation 开发指南 - Alluxio v2.6.2 (stable) Documentation 部署 Alluxio - 在集群上独立运行Alluxio - 《Alluxio 社区版 v2.0官方文档》 - 书栈网 · BookStack 首先要确定部署的环境，可以选择部署在本地、集群、AWS等。即要选择Alluxio的底层存储，是使用本地的文件系统、HDFS、S3等。 提示：可以从
Alluxio HA 安装
weixin_33835690的博客
12-26 301
Alluxio is a memory speed virtual distributed storage system.Alluxio是一个开源的基于内存的分布式存储系统，现在成为开源社区中成长最快的大数据开源项目之一。 alluxio下载地址https://www.alluxio.org/download 考虑系统的可用性，对Alluxio Master做HA，具体步骤如下： -1. 在al...
Alluxio部署实践
a604947740的博客
02-02 958
Alluxio（原名Tachyon）是2012年诞生的开源分布式内存文件系统，可用于支持Presto、Impala、Spark等分布式查询/计算引擎的计算-存储分离。本文将对Alluxio进行简要介绍，并阐述Alluxio部署的一些注意事项以及可能遇到的问题与处理方法。
Hadoop（二）---Hadoop集群的安全设置
狮锅艺
12-30 8236
配置hadoop的安全模式
Hadoop总结
m0_67403240的博客
07-28 1368
大数据的4V大量化、快速化、多样化、价值密度低。大数据对思维方式的影响颠覆了传统的思维方式——全样而非抽样、效率而非精确、相关而非因果大数据对科学研究的影响实验、理论、计算、数据三次信息化浪潮第一次——1980——个人计算机为标志——解决信息处理——Intel、AMD、IBM第二次——1995——互联网——信息传输——雅虎、谷歌第三次——2010——物联网、云计算和大数据——信息爆炸——亚马逊、美团信息科技为大数据提供的技术存储设备容量增加、成本降低CPU性能提升数据变革阶段注。...
MySQL Binlog同步HDFS的方案
weixin_43390992的博客
02-15 1399
这个问题我想只要是在做数据开发的，有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。 19年的时候我曾经写过一点canal的文章。 现在你只要看这个文章就可以了。 这篇文章是一个读者推荐给我的，原地址：https://dwz.cn/XYdYpNiI，作者：混绅士 我对其中的一些内容做了修改。 关系型数据库和Hadoop生态的沟通越来越密集，时效要求也越来越高。本篇就来调研下实时抓取MySQ...
Hadoop HA 部署
tian的博客
08-08 8501
Hadoop HA 部署、1+x大数据中级认证
【Alluxio实操课】第1课：Alluxio系统的安装配置与部署
Alluxio的博客
01-31 793
编者按：本实操课程由江苏鸿程大数据技术与应用研究院与南京大学PASA大数据实验室联合制作投稿贡献。 Alluxio是全球第一个以内存为中心(memory-centric)的分布式虚拟文件系统，最初诞生于加州大学伯克利分校的AMPLab。Alluxio提供一个由软件实现的统一化虚拟数据存储层，从而实现数据统一编排管理。Alluxio是大数据生态系统中发展最快的开源社区之一，已在全球数百个企事业单位...
HA(高可用)完全分布式集群部署
wsjslient的博客
03-19 1368
一、集群整体方案设计 hd01 hd02 hd03 作用 NameNode(主) activeNN NameNode(备) standbyNN DFSZKFailoverController 故障自动转移 JournalNode Namenode数据同步 DataNode 数据节点 ResourceManager(主) 主资源管理进程 ResourceManager(备) 备份资源管理 NodeManager 节点
HA模式的搭建
qq_24455835的博客
12-25 375
@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增
安装基于HA模式的ALLUXIO（HDP版本）
jayjwes190的专栏
10-12 454
1. 编译打包hdp版本的alluxio mvn -T 8 install -Phadoop-3 -Dhadoop.version=3.1.1.3.1.0.0-78...
实录分享 | Alluxio Operator一体化部署方案
Alluxio的博客
06-25 673
当我们创建了一个 Presto 资源后，自定义的controller仍然要监控资源的状态，如果资源的状态被更新了（比如Presto的镜像被更新了），那么它也需要根据更新之后的状态和当前状态进行对比，之后controller 要去做的事情就是自动更新它所创建的相关资源，而我们则无须关心要更新哪些内置的deployment和service。比如，基于前面Level 4所收集的指标进行分析后，发现应用在白天的请求较多，而晚上较少，则Operator可以自动根据请求的数目去做扩缩容，自动地去修改pod的副本数。
Hadoop HA集群部署
06-21
Hadoop High Availability (HA) 集群部署是指在一个集群中设置冗余，以确保即使在某个节点故障的情况下，数据处理和任务执行也能继续进行，提高系统的可靠性和可用性。下面是Hadoop HA集群部署的基本步骤： 1. **配置Hadoop集群**: 安装Hadoop并配置多个名称节点（NameNode）和任务跟踪器（JobTracker）。在Hadoop 2.x及以上版本，NameNode被替换为两个实例：Active NameNode（处理写入请求）和Standby NameNode（备份数据）。 2. **启用HA**: 在Hadoop配置文件（如core-site.xml和hdfs-site.xml）中启用HA模式。设置`ha.zookeeper.quorum`用于ZooKeeper服务的连接，这是协调NameNode状态的关键组件。 3. **安装ZooKeeper**: ZooKeeper作为元数据存储和命名服务，管理NameNode的状态。每个NameNode会连接到ZooKeeper，以同步集群状态。 4. **配置HA组件**: 创建并配置Hadoop的资源管理器（ResourceManager）和DataNode，它们将与新的High Availability架构协同工作。 5. **配置Fencing**: Fencing机制确保在主节点故障时，不发生冲突的切换。这可能涉及到网络或硬件级别的措施。 6. **启动Standby NameNode**: 启动Standby NameNode并让其监听，等待接替Active NameNode的角色。 7. **监控与自动故障切换**: 使用Hadoop的管理工具如JMX或Web UI监控集群状态，并配置自动故障切换，当主节点失效时，Standby会自动接管。 8. **测试**: 最后，进行充分的负载测试和故障恢复演练，确保HA集群能够在实际环境中正常运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值