【EMR】HBase替换现有底层存储hdfs为oss

最新推荐文章于 2024-09-12 07:00:00 发布
最新推荐文章于 2024-09-12 07:00:00 发布
阅读量1k 收藏 1
点赞数
文章标签： hbase EMR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/olddirverhelpme/article/details/126138134
版权
本文介绍了如何将HBase的底层存储从HDFS替换为阿里云OSS，以简化数据迁移和恢复，方便集群扩容。迁移过程包括环境准备、停止HBase服务、迁移数据、配置HBase及OSS、启动服务和验证读写功能。通过这一操作，可以利用OSS的云存储优势，提高存储灵活性。
摘要由CSDN通过智能技术生成

前言
HBase on OSS架构优势如下：

  • 简化了数据迁移和恢复

    • HBase的数据文件和表的元数据持久存储在集群外部的OSS上，HBase数据迁移和恢复时无需再使用快照等复杂的方式。

  • 方便扩容

    • 目前基于Core Node扩容HBase计算时会同步扩容HDFS，但是本文中的HDFS集群本身只用于存储WAL（Write Ahead Log），需要的存储空间较少，所以实际是能够通过计算需求而非存储需求来调整EMR集群大小，同时OSS作为云存储服务，扩容操作也比较简单。
      与其说是Hbase替换现有底层存储hdfs为oss，不如说是hbase替换底层存储hdfs为oss-hdfs。
      环境准备:

  • EMR 5.6.0 大数据集群（正常运行）

  • oss服务环境（正常运行）
    组件

    • hbase
    • oss
    • zookeeper
    • hdfs
      操作步骤
      具体的操作分为以下几个步骤：
    1. 联系主账号管理员，并确认oss
最低0.47元/天 解锁文章
芹菜学长
关注
云计算：从基础架构原理到最佳实践之：云计算大数据处理与存储
AI天才研究院
09-24 2615
云计算作为一个新兴的词汇，在近几年的国际金融危机中也开始受到广泛关注。在过去十年里，云计算的概念经历了剧烈变化。第一次正式提出这个词的是亚马逊创始人贝索斯，其在2006年的推出促成了云计算行业的诞生。随着云计算的日益普及和应用，越来越多的人开始把注意力放在如何利用云计算服务提升个人、企业或组织的效率、规模和竞争力上。而对于云计算公司来说，如何降低成本，提高资源利用率，实现业务增长，这些都是必须要解决的难题。
PCB行业龙头企业*IoTDB | 利用 IoTDB 替换HBase，打破查询功能局限性
qin_DB的博客
08-12 869
某PCB行业国内龙头上市企业主营印制线路板(PCB)生产、加工业务。其中，时序数据主要产生于生产设备采集的运行参数（温度、压力等）和检验设备采集的产品批次信息。在原有解决方案存在局限性的情况下，基于IoTDB时序数据库的特点和优势，该公司选择使用IoTDB作为其生产与质量分析系统的时序数据处理方案。使用此方案将有效提高存储与查询维度的性能。01业务需求痛点查询无法支持SQ...
HBase: 看上去很美
weixin_34233618的博客
11-13 449
缘起 随着hadoop系列的兴起，基于HDFS的大规模KV存储系统HBase也进入“大规模使用阶段”。网上的Hbase资料很多，学习成本正在下降。从公开的资料看，国外facebook、国内taobao均宣称在线上环境大规模使用hbase。一切都让人很兴奋。于是，在项目中引入Hbase做存储，最终却选择放弃。 HBase设计：看上去很美 HBase是模仿google bigtable的开源产品...
元数据性能大比拼：HDFS vs OSS vs JuiceFS
JuiceFS的博客
02-09 8992
背景 存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。 其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。 以 Amazon S3 和 Aliyun OSS 为代表的对象存储也是云上大数据平台的候选方案，但它只有 HDFS 的部分功能和语义，性能也差不少，实际使用并不广泛。在这个测试中对象存储以 Aliyun OSS 为代表，其他
EMR(hadoop/hbase/phoenix)夸集群数据迁移采坑记录
weixin_34387468的博客
06-25 248
一、概述： Hbase(Phoenix)数据迁移方案主要分为 Hadoop层面(distcp)、及Hbase层面(copyTable、export/import、snapshot) 二、以下针对distcp方案详细说明(以亲测阿里EMR为例)： step1： 首先打通两个集群网络(建议内网)，新建一个tmp安全组，将两个集群的所有ECS都加入进...
分布式存储系统中HDFS和OSS有什么区别？如何选择？
最新发布
无休居士的博客
09-12 1183
HDFS更适合于需要强一致性、高吞吐量和批处理作业的大数据场景，而OSS则更适合需要可扩展、低成本、高可用性和易于管理的大规模非结构化数据存储场景。HDFS（Hadoop Distributed File System）和OSS（Object Storage Service）都是用于存储数据的系统，但它们在设计、架构和使用场景上有明显的不同。OSS底层实现原理涉及分布式系统架构、数据复制与一致性、对象存储模型、数据索引与检索、数据生命周期管理等多个方面，旨在提供可扩展、可靠、安全且经济高效的存储解决方案。
hdfs是nas_hdfs 存储空间
weixin_39849239的博客
12-19 531
HDFS文件读写流程一、HDFS体系结构HDFS作为分布式文件系统，使用的是master/slave体系结构，角色有三种：NameNode:为HDFS提供元数据服务，NameNode可以控制所有文件的操作，它会把所有的文件元数据存储在文件系统树中，文件信息在硬盘上保存成两个文件：命名空间镜像文件(fsimag...文章姚攀2017-12-11785浏览量CDH在云上利用文件存储HDFS实现存储计算...
重磅：阿里云 JindoFS SDK 全面开放使用，OSS 文件各项操作性能得到大幅提升
weixin_45906054的博客
07-09 1880
作者：苏昆辉，花名抚月，阿里巴巴计算平台事业部 EMR 高级工程师, Apache HDFS committer. 目前从事开源大数据存储和优化方面的工作。点击文末阅读原文，一键直达超链...
基于EMR离线数据分析（阿里云）
gangyikeji的博客
05-20 813
场景体验目标 数据量爆发式增长的今天，数字化转型成为IT行业的热点，数据需要更深度的价值挖掘，应对未来不断变化的需求。海量离线数据分析可以应用于多种商业系统环境，例如电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。 本场景将通过开通登录EMR Hadoop集群，简单进行hive操作，使用hive对数据进行加载，计算等操作。展示了如何构建弹性低成本的离线大数据分析。 体验此场景后，可以掌握的知识有： 1.EMR集群的基本操作，对EMR产品有初步的了解 2.EMR集群的数据传输和hiv
高性能HBase客户端AsynchronousHBase.zip
07-19
asynchbase（Asynchronous HBase）是完全异步，非阻塞的，线程安全的，高性能的 HBase 客户端。asynchbase 是 Java 库使用 HBase 的替代品，要求一个完全异步，非阻塞，线程安全，高性能的 HBase API。这个 HBase 客户端跟 HBase 的客户端 HTable 有着很大的区别，不需要重写所有的 HBase API 交互代码，原生异步，而且使用一些线程就可以跟 HBase 进行高效的交互。 标签：Asynchronous
HBase设计：用与不用的智慧
03-04
hbase 等nosql设计上的坑与爱，如何认识hbase，如何进行设计，以及设计模式上的颠覆等
SQOOP在Hbase与MySQL互导的替代方案
学海无涯的博客
06-10 891
参照贵博主https://www.jianshu.com/p/3be96085660b
【hdfs&oss使用记录1】
weixin_43415579的博客
07-24 454
hdfs&oss使用命令
数据湖实操讲解【数据迁移】第一讲：高效迁移 HDFS 海量文件到 OSS
weixin_45906054的博客
05-12 3079
以下文章来源于公众号<数据湖技术圈>本期导读 ：【数据迁移】第一讲主题：高效迁移 HDFS 海量文件到 OSS讲师：扬礼，阿里巴巴计算平台事业部 EMR 开发工程师主要内容...
HBase替换Memcachedb
秀才的专栏
01-21 2606
背景：     Memcachedb现在没人维护了，还老是出问题，宕机 and 磁盘 over。     老大提出换掉它，找人研究了多日，由于忙就没音了。     算它命短，适逢设备精简，Memcachedb占着几台实体机器。     两道问题终于推动了换掉的进程。      调研：     公司利用HBase提供了存储服务化，于是就研究是否可利用HBase替换掉Memcachedb
用户实践：从 HBase 升级为OceanBase，仟传实现110000 TPS的千亿级KV性能优化
OceanBase分布式数据库的博客
04-23 1184
本文将分享仟传 KV 方案从 HBase 升级为基于 OceanBase 的 OBKV 实践经验
Amazon EMR HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步不停机迁移方案...
亚马逊云科技专栏
01-31 370
01背景介绍本文介绍的演练操作源于某真实案例，用户有一个 80 TB 的 HBase 数据库，其中有一张超大表，数据量约为 50 TB，在一次迁移任务中，用户需要将该 HBase 数据库迁移到 Amazon EMR 上。 本文将讨论并演示：将一个 50 TB HBase 单表不停机迁移数据到一个 HBase on S3 集群上。02知识储备介绍详细的迁移操作前，有必要介绍一些与 HBase 相关的...
HBaseOnOSS冷数据存储
weixin_33913332的博客
12-11 458
本期直播Topic:HBaseOnOSS冷数据存储 讲师：陆豪——阿里多模型数据库专家 视频回看地址：https://yq.aliyun.com/live/709/ PPT下载地址：https://yq.aliyun.com/download/3137 往期直播资料： 第四期：hbase 备份恢复资料：https://yq.aliyun.com/ar...
spark读取a账户oss写入b账户的emr集群的hive(oss-hdfs)
03-31
1. 首先需要在a账户的OSS中创建一个bucket，并上传需要写入hive的数据文件。 2. 在b账户的EMR集群中安装Hadoop和Hive，并配置好与OSS的连接。 3. 在b账户的EMR集群中使用以下命令将a账户OSS中的数据文件移动到HDFS中： ``` hadoop distcp oss://<bucket-name>/<object-key> hdfs://<hdfs-path>/ ``` 其中，`<bucket-name>`为a账户OSS中的bucket名称，`<object-key>`为需要移动的数据文件在OSS中的路径，`<hdfs-path>`为HDFS中存储数据文件的路径。 4. 在b账户的EMR集群中启动Hive，并创建外部表来读取HDFS中的数据文件。例如: ``` CREATE EXTERNAL TABLE <table-name> ( <column1> <datatype1>, <column2> <datatype2>, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '<hdfs-path>/'; ``` 其中，`<table-name>`为创建的表名，`<column>`为表的列名和数据类型，`<hdfs-path>`为HDFS中存储数据文件的路径。 5. 最后，在b账户的EMR集群中使用Spark读取Hive表中的数据并进行处理。例如: ``` val spark = SparkSession.builder() .appName("Read Hive Table") .config("hive.metastore.uris", "<hive-metastore-uri>") .enableHiveSupport() .getOrCreate() val df = spark.sql("SELECT * FROM <table-name>") // 进行数据处理 ``` 其中，`<hive-metastore-uri>`为Hive元数据存储的URI，`<table-name>`为创建的外部表名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值