HBase集群间不停服迁移数据

最新推荐文章于 2024-06-12 10:51:15 发布
最新推荐文章于 2024-06-12 10:51:15 发布
阅读量3.1k 收藏 1
点赞数
分类专栏： hbase 文章标签： hbase 迁移 数据 snapshot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryce123phy/article/details/51242425
版权
本文介绍了如何在不停服的情况下，通过复制HBase集群的snapshot并进行实时同步，结合MapReduce任务，实现集群间的数据迁移。主要步骤包括：复制snapshot到目标集群，开启双集群数据同步，以及处理迁移期间新增数据的MR任务。
摘要由CSDN通过智能技术生成

基本思路就是首先拷贝并复制snapshot到目的集群，然后开启两个集群间的数据实时同步，最后，将创建snapshot到开启数据同步之间的数据通过MR任务拷贝。


以表test_table为例： 
1、添加原集群到目标集群的replication关系，并在目标集群中建立与原集群相同的表；

2、通过snapshot把历史数据导入到从集群: 
在原集群执行以下指令： 
最低0.47元/天 解锁文章
bryceforphy
关注
专栏目录
【HBase 运维】不停服务迁移方案汇总
zengccc的专栏
03-29 80
迁移对于运维来说，是家常便饭，不停服迁移是对DBA的考验，下面汇总了目前了解到迁移方案： 利用replication 和 snapshot 完成数据迁移, 业务自动切换 步骤: 建立两个集群的replication,主从(待迁移集群----> 新集群) 在新集群新建跟老集群一样的表, 并开始同步 暂停同步, 利用snapshot , 将老集群的表做一份快照, 例如表A list_sna...
HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案
Laurence的技术博客
12-25 3650
本文首发于Apache HBase公众号。介绍的演练操作源于某真实案例，用户有一个接近 100 TB 的 HBase 数据库，其中有一张超大表，数据量约为数十TB，在一次迁移任务中，用户需要将该 HBase 数据库迁移到 Amazon EMR 上。 本文将讨论并演示：使用全量快照 + 实时同步（Snapshot + Replication）的方式将一个数十TB HBase 单表不停机迁移数据到一个 HBase on S3 集群上。
Hbase集群间数据迁移
liyanling的博客
11-04 533
背景： 有两个集群（cluster-a,cluster-b），需要将cluster-a集群的两张表(table1,table2)迁移到cluster-b集群。 hbase版本号：1.2.6 迁移方法： 使用snapshot方法 迁移步骤： 1.在cluserA集群开启表的复制 hbase shell> alter 'table1',{NAME => 'id', REPLIC...
不同集群Hbase数据库数据迁移
qq_21153619的博客
08-24 660
不同版本Hbase数据库数据迁移 1、迁出hbase  # 进入hdfs用户 su hdfs   #在hdfs上建立test临时目录 hadoop fs -mkdir /test #进入hbase的bin目录下 cd /usr/hdp/2.6.2.0-205/hbase/bin/    #用MR方法将hbase数据库t_userBehavior里的数据导入/test/t_userBeha...
HBase不停旧表读写迁移方案
m0_37669879的博客
05-30 296
1.新集群建表，region split要和旧集群一样，并且授权2.老集群增加目标集群peer配置：在老集群增加目标集群对应的peer（第一个参数：自定义的集群peerId，比如新集群peerId我定义为1。第二个参数：目标集群zk以及hbase.zookeeper.quorum:hbase.zookeeper.property.clientPort:zookeeper.znode.parent）...
HBase集群数据迁移方案
吃果冻不吐果冻皮
07-06 7057
一、静态迁移方案 1、在hbase停止的状态下进行数据的迁移。 2、采用Hadoop distcp方式，将以上目录的内容，迁移到另一个集群。 使用add_table.rb进行恢复。 缺点：不太灵活 二、动态迁移方案 -Replication备份方案 -CopyTable方案 -Export and Import方案 1.Replication备份方案 修改hbase
HBase迁移数据方案（两个集群不能通信）
weixin_40766412的博客
05-25 634
HBase迁移数据方案（两个集群不能通信） 把某个表(test)从集群1迁移到集群2（两个集群互相看不见），步骤如下： （其实就是把旧集群上的hbase在hdfs上的存储文件迁移到新集群上） 1.把数据表test从hbase下拷出 hadoop fs -get /hbase/data/default/test /home/ 2.文件放到新集群的系统上。 3.文件拷入新的hado...
hbase集群之间数据迁移_CDH集群hbase数据迁移
weixin_29443363的博客
12-23 675
一、总体方案通过网络查找相关资源，现有主要方案有3个。方案1：Hadoop层的数据迁移主要用到DistCp(Distributed Copy)， 官方描述是：DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。主要的命令：hado...
hbase基于快照的数据迁移
07-10
随着业务的发展，数据量逐渐增大，可能需要将数据从一个集群迁移到另一个集群，或者进行数据备份等操作。HBase提供了快照功能来支持这些需求。快照是一种轻量级的数据备份机制，可以快速备份表数据而不会影响在线...
HBase数据迁移
weixin_43845743的博客
07-25 372
hbase数据迁移及迁移过程中有可能出现的问题。
HBase跨集群迁移
大数据之路
07-09 1760
背景：假设有hbase1和hbase2两个集群，现在需要将hbase1的表迁移到hbase2，而且不能停止服务的运行。 准备工作 开启hbase.replication功能 设置hbase-site.xml中hbase.replication为true 开启待复制集群的Yarn计算，后续拷贝数据基于MR 开始迁移 1.hbase2集群建表(click-count’在hbase1是已经存在的...
hadoop集群间的hbase数据迁移
liuxiaochen123的专栏
09-04 151
在日常的使用过程中，可能经常需要将一个集群中hbase的数据迁移到或者拷贝到另外一个集群中，这时候，可能会出很多问题 以下是我在处理的过程中的一些做法和处理方式。 前提，两个hbase的版本一直，否则可能出现不可预知的问题，造成数据迁移失败 当两个集群不能通讯的时候，可以先将数据所在集群中hbase的数据文件拷贝到本地 具体做法如下：   在hadoop目录下执行如下命令，拷贝到本地...
HBase集群数据在线迁移方案探索
最新发布
京东科技开发者
06-12 960
订单本地化系统目前一个月的订单的读写已经切至jimkv存储，对应的HBase集群已下线。但存储全量数据的HBase集群仍在使用，计划将这个HBase集群中的数据全部迁到jimkv，彻底下线这个HBase集群。由于这个集群目前仍在线上读写，本文从原理和实践的角度探索对HBase集群数据的在线迁移的方案，欢迎大家补充。HBase客户端（Client）提供了Shell命令行接口、原生Java API编程接口、Thrift/REST API编程接口以及MapReduce编程接口。HBase客户端支持所有常见的DML
Hbase数据迁移
u014702177的专栏
07-16 1215
HBase 数据迁移方案（集群互通） Export and Import 方法(1) 在旧集群上把hbase数据库中的表导出。 使用：hbase org.apache.hadoop.hbase.mapreduce.Export HbaseTable hdfs://newclusteriP:8020/user/data/HbaseTable. 其中HbaseTable 是hbase数据表名。把Hbas
在不同hbase集群中迁移数据
predict_wise的博客
12-20 515
CopyTable（1）首先，看一下CopyTable命令的使用方法$ bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable Usage: CopyTable [general options] [--starttime=X] [--endtime=Y] [--new.name=NEW] [--peer.adr=ADR] <tablename>O
hbase跨集群迁移数据（实践检验版）
gudong2945的专栏
01-18 355
--数据迁移 步骤0:清理目标集群 1>删除目标集群上要导入的表 1.1>进入命令行 $HBASE_HOME/bin/hbase shell 1.2>下线表 disable '{tableName}' 1.3>删除表 enable '{tableName}' 2...
Hbase集群间数据迁移方法总结 .
jasonliaoxiaoge的专栏
03-13 713
呵呵，今天花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。 一、需要在hbase集群停掉的情况下迁移 步骤：(1)执行hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest" (2)在new cluster执行./hbase org.jruby.Main add_tab
HBase数据迁移实现
lwb314的专栏
04-09 2712
方式很多，我使用的是Export与Import感觉还挺好用的，我使用的场景有几种，以下会分别说明：我的需求是将老集群数据迁移到新集群，但是有两种情况：1.两个集群网络能够联通；2.两个集群网络不能联通。先说能联通的情况及遇到的问题：root登陆集群1.执行以下命令，我的前提是我执行hbase shell是可以正常执行的。hbase org.apache.hadoop.hbase.mapreduce...
HDFS、Hive、HBase集群全面迁移指南
3. HBase元数据迁移：必须在HBase集群停止服务的情况下进行。首先确保HDFS数据迁移完成，然后使用`add_table.rb`脚本将旧表添加到新集群的`.META.`表中。可能遇到Region数目不一致的问题，重启HBase服务可以解决。 ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值