hbase复制表（本地或者跨集群）

最新推荐文章于 2024-01-18 02:10:38 发布
最新推荐文章于 2024-01-18 02:10:38 发布
阅读量2.4k 收藏
点赞数
分类专栏： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gyxinguan/article/details/78552515
版权

hbase org.apache.hadoop.hbase.mapreduce.CopyTable [--starttime=X] [--endtime=Y] [--new.name=NEW] [--peer.adr=ADR] tablename


一：本地

hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=newTableName  srctablename


二：跨集群

hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=server1,server2,server3:2181:/hbase --new.name=targetName srcName



注：可以指定起始时间，列族等信息进行复制

tiny@ant
关注
专栏目录
hbase集群搭建（自整）
01-11
最后，你可以访问Web UI（默认端口60010）来监控HBase集群的状态，通过shell创建表并观察Web界面的变化。 总之，搭建HBase集群涉及到多个步骤，包括配置文件的修改、数据目录的准备、服务的启动和停止以及节点间的...
HBase跨集群复制数据的另一种方法
Mac Track
08-21 3601
一、从源hbase集群中复制出HBase数据库表到本地目录 最好停止HBase，否则可能会丢部分数据 [hbase@hadoop200 ~]$ hadoop fs -get /hbase/toplist_ware_total_1009_201232 toplist_ware_total_1009_201232 压缩 [hbase@hadoop200 ~]$ tar zcvf to
Hbase跨集群迁移
weixin_43320617的博客
08-26 2918
一、Hbase跨集群迁移方式## 标题 Hbase跨集群迁移的方式：copyTable、distcp、export/import、snapshot。 备注：新集群Hbase 版本cdh 2.1.0。 1、copyTable方式集群间迁移（HBase层数据迁移） copyTable也是属于HBase数据迁移的工具之一，以表级别进行数据迁移。copyTable的本质也是利用MapReduce进行同步的，与DistCp不同的时，它是利用MR去scan 原表的数据，然后把scan出来的数据写入到目标集群的表。这种方
【hbase】使用HDFS底层文件来进行hbase 跨集群数据迁移
Mrerlou的博客
11-11 1727
前言： 最近要跨集群迁移hbase 表，这里选择迁移Hadoop底层数据来实现hbase的表迁移。 迁移Hadoop底层文件的方式有两种： distcp 从旧集群get 获取文件到本地在 put到新集群上。 因为，我们这个A集群是kerberos 环境，B集群是不带kerberos环境，这里使用Distcp的方式，需要添加一个白名单的配置，并且也需要重启集群，这里就不采用distcp的方式了，使用 get/put的方式。这里仅是为了迁移底层数据，所以选择那种方式都可以。 环境信息： CDH版本
HBase表跨集群迁移
1006346386@qq.com
10-11 1554
需求：存在两个集群集群1、集群2，将集群1中Hbase数据表复制到集群2中，此时两个集群HBase版本一致。 解决思路： 一. 将集群1HBase表数据复制到集群2的HBase中 1. 分别查看集群1和集群2中hbase表的存储路径。hbase表数据存储路径在hbase-site.xml文件中指定，该xml文件通常在hbase安装目录下./conf/hbase-site.xml。 命令行
【Hbase】跨集群拷贝表
zkq_1986的博客
11-20 648
hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new_cluster_ip:2181:/hbase testtable
hadoop2.7.2 +hbase1.2.0
06-28
本资源提供了hadoop2.7.2和hbase1.2.0的集群环境搭建所需的软件，使得用户能够在本地或者云环境中搭建一套完整的Hadoop HDFS（Hadoop Distributed File System）和HBase分布式数据库。 Hadoop是Apache基金会的一个...
hbase技术分享
05-30
- copytable：从本地集群向对等集群复制表数据。 - export：将表数据写入HDFS，用于备份等。 - exportsnapshot：将特定快照导出到指定的文件系统。 - import：导入通过export命令导出的数据。 - importtsv：导入以...
hbase-0.94.1手动数据迁移.docx
11-06
在描述中提到的例子中，操作者在`/opt`目录下创建了一个名为`hbaseDataTest`的新文件夹，并使用Hadoop的命令行工具`hadoop fs -copyToLocal`将`/sddcloud/hbase/AlarmInfo`表的数据复制到本地的`/opt/hbaseDataTest/...
hdfs，hbase命令原理介绍
11-23
- **创建表**：使用 `create` 命令创建一个新的 HBase 表。 - **插入数据**：使用 `put` 命令插入数据。 - **获取数据**：使用 `get` 或 `scan` 命令获取数据。 - **删除数据**：使用 `delete` 命令删除数据。 ####...
HBase 导入、复制、备份、迁移
01-12 880
HBase 数据迁移、备份与恢复、复制。
hbase 复制表数据
lzlnd的博客
04-14 1806
使用CopyTable同步HBase数据 CopyTable是Hbase提供的一个数据同步工具，可以用于同步表的部分或全部数据 使用步骤： 1.创建目标表。表的列族和原表列族保持一致。如果不一致可以修改 先增加新的：alter '表名',{NAME=>'cf1'} 后删除旧的：alter '表名','delete'=>'CF' 2.进入到hbase的bin目录下执行命令 ...
HBase跨集群表复制
weixin_33947521的博客
04-13 317
2019独角兽企业重金招聘Python工程师标准>>> ...
HBase复制详解
cihongmo6452的博客
04-08 1199
最近公司需要完成HBase线上跨机房的数据迁移，于是开始调研HBase的迁移方案。经过大量的查阅资料，最终把方案定格在了CopyTable+Replication上，跟业界一些HBase的大牛了解到，这也是业界的常用做法。CopyTable的原理很简单，利用MR任务，并行scan从源表获取数据...
跨集群拷贝hbase表
Adolph的专栏
07-03 1119
目的:从10.102.2.246上把Hbase里面数据备份到10.101.159.62的Hbase里面，并且这两台机器之间无法通信，因此采用最笨的办法解决问题。 步骤： 1、从246上把Hbase里面数据先拷贝到该节点的一个目录，拷贝到/oracle/hpdata/hbase-data.bak。我们知道由于配置文件hbase-site.xml里面写的hbase数据存放地方是 hdfs://l
【HBase运维系列】集群间的数据拷贝-copytable
Jonathan.Wei的专栏
12-24 8523
场景：数据从老环境拷贝到新环境，两个集群建是可以通讯的 集群间数据备份包括两种，一种是全停止拷贝，一种是动态备份。 动态备份还包括replication、copytable以及export import 这里主要讲下copytable的使用。CopyTable是可以复制的部分或全部的表中，既可以在同一个群集或另一个集群的实用程序。 用法如下： $ bin/hbase or
HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案
Laurence的技术博客
12-25 3565
本文首发于Apache HBase公众号。介绍的演练操作源于某真实案例，用户有一个接近 100 TB 的 HBase 数据库，其中有一张超大表，数据量约为数十TB，在一次迁移任务中，用户需要将该 HBase 数据库迁移到 Amazon EMR 上。 本文将讨论并演示：使用全量快照 + 实时同步（Snapshot + Replication）的方式将一个数十TB HBase 单表不停机迁移数据到一个 HBase on S3 集群上。
HBase的数据复制和分区功能
最新发布
程序员光剑
01-18 856
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase提供了自动分区、数据复制、数据备份等功能，使其在大规模数据存储和处理方面具有很高的性能和可靠性。在这篇文章中，我们将深入探讨HBase的数据复制和分区功能，揭示其核心概念、算法原理和实现细节。 1.1 HBase的基本概念 HBase是一个分布式、可扩展的列式存储系统，基于G...
Hbase 的复制
晓晓的天空
03-06 1329
Hbase 的复制
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值