Hbase 手动数据迁移方法

最新推荐文章于 2022-09-19 17:20:15 发布
最新推荐文章于 2022-09-19 17:20:15 发布
阅读量1.2k 收藏
点赞数
分类专栏： hbase数据集群间手动迁移 Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KNIFE_PAN/article/details/42103539
版权

1.从源hbase集群中复制出hbase数据库表到本地目录

 hdfs dfs -get /hbase/data/default/    (hbase中的每个表在hdfs上都会对应一个文件在上述目录下)

2 目标Hbase导入

 hdfs dfs -put .......(放到你需要导入数据的集群上/hbase/data/default/ 目录下)

3 修复META表

hbase hbck -fixMeta

4 重新分配数据到各RegionServer

hbase hbck -fixAssignment

KNIFE_PAN
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hbase数据迁移方案
lyd882的博客
02-27 1637
Hbase数据迁移方案 hbase的数据迁移有几种，要求新老集群间所有机器间网络通并配有路由表或dns，查资料发现以下几种方案： 1.走hdfs数据远程拷贝 直接用hadoop distcp远程拷贝迁移出hfiles（先将原表disable下线，flush确保memostore持久化），再在新hbase集群创建相同表，通过LoadIncrementalHFiles工具载入hfile到这个新表 低层原理是利用hadoop mapreduce 将Hfiles文件作为输入并行拷贝到新hdfs集群 2.Hbase
hbase数据迁移
08-27 2668
说明：网上众多千篇一律的版本都说要用到一个add_table.rb的文件，可是我的版本根本hbase下就不存在这个文件。 1.把数据表test从hbase下拷出（hadoop dfs -get /hbase/test ./） 2.文件放到新集群的系统上。 3.文件拷入新的hadoop集群hbase下（hadoop dfs -put test /hbase/test） 4.到hbas
Hbase Region迁移过程详解
UnionIBM的博客
10-13 4241
在生产上遇到有比较大的Region都是运行在同一个RegionSever上，有些RegionSever上的Requests比较少，明显的出现读请求不均衡；这个时候我们可以手动的移动Region到负载比较低的RegionSever上面eg: 在hbase shell 执行如下：move ‘5f1e66c635f8a0ed278f609fa16d5a6e’,’slave2,16020,15077994
Hbase regions在RegionServer上迁移原理解析
不见其长，日有所长
02-27 3283
1. 前言 当Hbase集群中某个RegionServer挂掉之后，Hbase是如何把这台server上的regions迁移到其它的RegionServer上的呢？要弄清楚这个问题，首先要了解Hbase中Region的寻址机制，在此基础上来理解regions在RegionServer之间迁移的原理。 2. Region 寻址机制 在Hbase中，读写操作都在 RegionServer 上发生，每个...
Hbase-region迁移
旺旺的博客
07-25 1905
HbaseRegin迁移 1为什么要做region迁移 在生产上遇到有比较大的Region都是运行在同一个RegionSever上，有些RegionSever上的Requests比较少，明显的出现读请求不均衡；这个时候我们可以手动的移动Region到负载比较低的RegionSever上面，让负载高的regionServer减轻负载，然负载低的regionService增加负载以达到hbase集...
HBase数据迁移方案
阿生
09-25 4679
HBase2.1.0数据迁移方案 文章目录HBase2.1.0数据迁移方案步骤一、迁移HFile数据步骤二、迁移表的region步骤三、bulkload数据 业务要求：将数据从旧的集群HBase1.2迁移到HBase2.1.0中去。每个表的数据量级10TB左右 值得注意：HBase升级到Hbase2.x之后，他的数据修复工具独立出来作为 HBCK2 成立了一个单独的项目 ，并且这个项目并不是所有的......
HBase Shell手动移动Region
weixin_30929195的博客
03-08 247
在生产环境中很有可能有那么几个Region比较大，但是都运行在同一个Regionserver中。这个时候就需要手动将region移动到负载低的Regionserver中。步骤：1、找到要移动的region，记录红框的id值，这个是唯一的region ID2.查看RegionServer列表，并记录ip、端口、startcode#明显读请求不均衡3.我们需要将部分region移动到dn3这台Regi...
【转】通过HBaseAdmin的move方法来迁移Region
xcc的博客
07-23 251
出处：http://www.oratea.net   通过HBaseAdmin的move方法可以把Region从一台RegionServer迁移到另外的RegionSever上。这在处理数据热点和grace stop的时候比较有用。 举例如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 1...
HBase 使用HDFS底层文件来进行数据迁移
a13568hki的博客
09-19 1598
4、如果实在上传上去的文件属主属组又问题就用命令去更改hadoop的文件。3、把数据传到被恢复集群的HDFS上（需要切换hbase用户）根据region目录中的.regioninfo，生成meta表。上传的数据是没有 .regioninfo信息的，需要恢复。5、恢复HBase元数据（ .regioninfo信息）上传数据前需要检查属主属组是否和HDFS上面一致。2、 把数据传到需要恢复数据的集群的hbase。1、下载原来的hbase集群的表数据。修复.regioninfo文件。
通过region文件实现数据迁移，恢复hbase数据
qq_40498209的博客
10-30 367
因为要实现hbase的数据迁移，上游直接下发的region文件 即图中文件，要在另一个集群上通过该文件将hbase表恢复 步骤如下 1.在新集群上创建hbase表，列簇同原表 2.将region文件移动到新集群hbase的hdfs上该表的路径下，即图中的/hbase/data/default/hbase_test2下 3.开启hbase shell，停用该表（disable ‘hbase_test2’） 4.【第一次修复】 执行命令： hbase hbck -repair “hbase_test2” &g
手动move region做load balance
lxf310的专栏
03-11 3401
转载自：http://hbase.iteye.com/blog/1392030 由于自动load balance的时候移动了region，会导致客户端因为连接不上原有的region而报错。业务方因此会不愿意接受。在我们的集群中，关闭了自动的load balance，而改在业务低谷手动做。好处就是尽量减少了客户端的报错。   办法   1. 通过监控观察到reque
【HBASE】记一次HBase进行数据迁移，重建元数据
Meepoljd的博客
05-12 1374
hbase生产集群大量永久RIT无法修复，为保证查询，迁移数据到小集群
HBase之——集群数据手动迁移方案
冰河的专栏
06-19 1349
1、从源HBase集群中复制出HBase数据库到本地目录hadoop fs -get2、目标HBase导入hadoop fs -put3、修复.META.表hbase hbck -fixMeta4、重新分配数据到各RegionServerhbase hbck -fixAssignments...
HBase 数据迁移方案介绍
weixin_30474613的博客
12-12 886
一、前言 HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类： 图1.HBase数据迁移方案 从上面图中可看出，目前的方案主要有四类，Hadoop层有一类，HBase层有三类。下面分别介绍一下。 二、Hadoop层数据迁移 2.1 方案介绍 Hadoop层的数据迁移主要用到DistCp(Distributed Copy)， 官方描述是：DistCp（分布式拷贝）是用于大规模...
Hbase 数据迁移的常见方式（四）
kinglyjn的博客
08-29 4258
要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase 的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。 数据导入hbase的常见方法数据的来源： 日志 RDBMS 导入的常见方法： 使用hbase put API（sqoop、kettle）使用HBase的
HBase跨集群复制数据的另一种方法
Mac Track
08-21 3579
一、从源hbase集群中复制出HBase数据库表到本地目录 最好停止HBase，否则可能会丢部分数据 [hbase@hadoop200 ~]$ hadoop fs -get /hbase/toplist_ware_total_1009_201232 toplist_ware_total_1009_201232 压缩 [hbase@hadoop200 ~]$ tar zcvf to
使用HDFS和HBASE导出导入功能进行数据迁移
热门推荐
gong_xucheng的专栏
01-03 1万+
HDFS跨集群复制数据  hadoop distcp hdfs://ubuntu:9000/user/root hdfs://hadoop-master:9000/user/root 注意：机器名后面的9000端口不可省略，因为distcp命令默认使用8020端口，如果省略会报告ConnectionRefused异常。 HBASE数据导出 直接使用HBASE提供的exort和imp
hbase数据迁移步骤
最新发布
05-18
HBase数据迁移的步骤如下： 1. 准备目标集群：在目标集群中安装HBase，并确保该集群具有足够的容量来容纳源集群的数据。 2. 备份源HBase表：使用 HBase 命令行界面或 HBase shell 工具备份源 HBase 表。 3. 将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值