数据迁移 hbase snapshort

最新推荐文章于 2022-10-26 14:28:47 发布
最新推荐文章于 2022-10-26 14:28:47 发布
阅读量507 收藏
点赞数

hbase基于快照的数据迁移

前期准备

1.        对于开启安全认证（kerberos）的集群，首先需要关掉安全认证。

2.        在源集群所有节点/etc/hosts文件中配置目标集群所有节点的host。

源集群操作

开启HBase快照

1.   登录Ambari检查hbase-site.xml中的hbase.snapshot.enabled是否设置为true，确认打开了快照许可。

 

新建快照

1.        源集群，登陆hbase shell控制台，使用list_snapshot命令，列出所有的快照。会展示出快照名称，源表，以及创建日期和时间上。

 

2.        在第1步快照列表中不存在的情况下，执行生成hbase表镜像文件命令

 

3.        执行“list_snapshots”再次查看所有的hbase的快照列表，确认新的快照已经生成。

 

快照复制

1.        源集群，查看要迁移的hbase表的数据结构，记录下列族信息、版本信息等内容，可从shell控制台查看，也可以hbase webUI中查看。

 

 

2.        从源集群往目标集群拷贝快照（这里用hdfs用户）

1)        不覆盖目标集群同名快照

/usr/hdp/2.3.4.7-4/hbase/bin/hbaseorg.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot snap_table_test1 -copy-to  hdfs://10.106.1.165:8020/apps/hbase/data

2)        覆盖目标集群同名快照

/usr/hdp/2.3.4.7-4/hbase/bin/hbaseorg.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot snap_table_test1 -copy-to  hdfs://10.106.1.165:8020/apps/hbase/data  -overwrite

目标集群操作

修改权限

1.        修改hdfs下hbase数据文件的权限（hdfs用户登录）。

         hadoopfs -chmod -R 777 /apps/hbase/data

         hadoopfs -chown -R hbase:hdfs /apps/hbase/data/

新建表

1.        根据旧集群hbase标的describe信息，在新集群创建同样的hbase表（必须同名）

create'table_test1', {NAME => 'cf'}

快照还原表

1.        shell控制台中，执行

disable  ’ table_test1’

         restore_snapshot  'snap_ table_test1

enable ' table_test1'

2.        通过count命令校验数据

         count' table_test1'

 

1. 前期准备

1.1 确认集群使用的版本

  源HBase集群（以下称旧集群）和目的HBase集群（以下称新集群）的版本可能并不是一致的，特别是其底层所使用的HDFS版本信息。譬如这样一个数据迁移场景：业务希望从低版本的HBase集群（0.94.x）迁移到当前稳定的HBase集群（1.2.x），因为新版本的HBase有新特性，Bug更少，稳定性和可运维行更优。理论上新版本会兼容老版本的API，但是如果彼此版本差距过大，可能会出现HDFS RPC版本不一致（一般来说是Protobuf的版本），那么集群之间的迁移就会因为彼此与对方的NameNode无法进行通信而无法进行。 这种情况下，需要先考虑升级低版本的HDFS。

1.2 确认集群是否开启Kerberos认证

  这里会有三种可能情况：一是都未开启认证，二是都开启认证，三是一个开了，另一个没开。前两种情况按照正常的认证（或非认证）的配置操作即可，第三种情况则需要在开启了认证的集群上开启 ipc.client.fallback-to-simple-auth-allowed 参数，意即在使用Kerberos的方式访问非Kerberos的集群时，系统自动转换成简单认证，否则会出现认证问题。Kerberos的配置和使用本文不做展开。

1.3 确认操作账号的读写权限问题

  要在不同的HBase集群之间做数据迁移，必然要涉及到不同集群的读写权限问题。HBase使用ACL来管理不同数据表的读写权限，在开启了Kerberos认证的环境下，还需要验证Kerberos；而HBase使用的HDFS自身也有一套类似的权限管理规则，当两个集群配置不同时（如部署账号不一致），极易出现冲突。在迁移前需要确认两个集群的管理员账号（HDFS和HBase账号）是否一致，如果不一致，需要开通权限。

1.4 开启YARN服务

  数据迁移任务本质上是一个MapRedcue任务，故需要在一个集群上开启YARN服务。如何选择在哪个集群上开呢？建议是在新集群上开，因为旧集群上可能还需要继续跑线上业务，在上面起大量Map任务并把数据远程写入到新集群，会对线上业务带来较大的性能影响；而新集群较大可能是一个独立集群，尚没有业务运行，在其上运行Map任务通过网络从旧集群中拉数据到本地写入，性价比更高，且对线上业务的侵入性更低。

  在HBase集群上配置YARN服务可以查阅其安装部署文档，这里不做展开。

1.5 确认数据迁移的SLA

  数据迁移是否是在线迁移，即业务不能中断。若业务允许做离线迁移，可以先将该表Disable后再做迁移，然后在新集群上重新clone成新表即可；但若需要在线进行迁移，则需要提前新集群上生成对应的HBase表，开启ACL权限等操作，并让业务开启数据双写，确保两个集群的数据在迁移时刻之后的数据是一致的。因为数据迁移和后续的数据合并耗时都很长，如果不开启双写，是无法达到数据一致性要求的。所以大多数情况下，业务都是要求数据迁移以在线方式进行。

1.6 源集群开启Snapshot

  HBase的Snapshot是从0.94.6之后才引入的特性，开启Snapshot特性需要开启 hbase.snapshot.enabled （默认已开启）。如果没有开启该特性，则需要重启服务以开启该特性；如果版本过低，就只能使用其他对业务影响较大的CopyTable/ExportTable（需要Disable表）才能操作。

2. 生成HBase表和Region

  完成前期的验证和准备工作后，就可以在新集群中创建待迁移的目的表和域（以下称Region）了。 因为迁移过程中业务需要开启双写，所以目的表结构必须和源表是一致；同时源数据表可能已经存在多个Region了，那么目的表也必须提前规划好这些Region，以免双写期间出现Region数量不足出现热点或者Region内文件数过多频繁Compact导致线上业务出现性能问题。 这里详细说明下如何正确创建一个带有多个Region的表。

2.1 使用RegionSplitter生成表

  如果新建一个自带多个Region的表，可以使用以下命令：

例1. 生成一个表 t1, 有30个region，且表有一个列族"d"，则使用

bin/hbase org.apache.hadoop.hbase.util.RegionSplitter t1 UniformSplit -c 30 -f d

例2. 生成一个表 t2, 有10个region，有两个列族 d1，d2， 其起始rowkey是'0'

bin/hbase org.apache.hadoop.hbase.util.RegionSplitter t2 UniformSplit -c 10  -f d1:d2 --firstrow '0'

2.2 使用HBase Shell生成表

  使用HBase shell中的create命令也可以直接生成多个Regions，前提是必须要指定split keys

例3. 生成一个表 t3，按照'10','20','30','40'为Regions的split keys

create 't3', 'f1', SPLITS => ['10', '20', '30', '40']

整个表划分成5个Region，其起始和结束key分别是 ['0','10'],['10','20'],['20','30'],['30','40'],['40',-]

2.3 将已有的表重新切分或合并

  如果一个表的Region范围过大，可以使用split来将其切分成两个子Region

 

  1. split 't1', '1'

  2. split '110e80fecae753e848eaaa08843a3e87', '\x001'

  同理，如果表的Region过于零散，可以使用merge_region来进行合并

 

  1. hbase> merge_region 'ENCODED_REGIONNAME', 'ENCODED_REGIONNAME'

  2. hbase> merge_region 'ENCODED_REGIONNAME', 'ENCODED_REGIONNAME', true

具体的操作命令用户可以自己查看HBase的相关文档来了解。

  注：在为迁移的目的表划分多个Region时，其StartEndKey最好和旧HBase集群中源表分布一致。这样后续文件加载时，不需要额外进行过多的拆分，可以节省载入时间。另外有一点需要说明，使用splitKey时，系统不支持Hex字符串。 如果想用HexString来作为自己Region的StartKey，则需要对HBase的客户端代码进行简单的修改。简单来说需要能支持Bytes.toBinaryString()方法， 但系统读取后都是直接用Byets.toBytes()方法。 具体的代码实现，可以私聊。

3. Snapshot机制与使用

  HBase快照是一份指向多个HFile文件的元数据文件。在执行snapshot命令时，不会触发任何的HBase数据操作，所以这个命令非常高效。使用快照来恢复或克隆一个表也非常快，因为它只需要引用已有的HFile文件即可。所以使用Snapshot进行数据迁移的优势就是备份和拷贝数据对线上服务没有影响，或者影响极低。其流程如下：

  • 执行snapshot命令时，Master会从自己管理的meta信息中，找到该表所在RegionServer，然后下发该命令到相应的一个或多个RegionServer（RS）
  • RS负责生成HFile文件引用，同时会获取其Region的HFile文件信息，将当前文件的大小写入到manifest文件中。
  • HFile文件是使用Append方式来添加的，所以某一个时刻的文件大小相当于记录了一份当前时刻的文件偏移量。 恢复时，系统也只会读到该偏移量的位置。 如果想再次对该表做快照，那么文件引用的偏移量会正确设置为当前HFile的大小。

Snapshot命令有一个skipFlush参数，设置为true时，会强制将RS的MemStore里内容刷到磁盘中，可能会造成RS短暂的中止服务。时间长短视内存中的数据量而定。 在这里我们不需要靠强制刷新出内存中的数据来保证数据完整性，理由如下：

  1. 如果我们使用的是停服迁移的方式，那么使用快照时内存中是没有数据写入的。
  2. 如果使用的双写迁移的方案，则快照时存在于内存中的那部分数据实际上会被双写到另外的集群中，同样不会有数据丢失的问题。

3.1 创建快照

 

  1. hbase> snapshot 'sourceTable', 'snapshotName'

  2. hbase> snapshot 'namespace:sourceTable', 'snapshotName', {SKIP_FLUSH => true}

3.2 查看快照

 

  1. hbase> list_snapshots

  2. hbase> list_snapshots 'abc.*'

3.3 克隆快照

 

  1. hbase> clone_snapshot 'snapshotName', 'tableName'

  2. hbase> clone_snapshot 'snapshotName', 'namespace:tableName'

生成snapshot后，可以通过hadoop的Shell命令来查看到对应的snapshot目录

 

  1. bin/hadoop fs -ls /hbase/.hbase-snapshot/newSnapshot

  2. Found 2 items

  3. -rw-r--r-- 3 xxx xxx 35 2017-04-24 21:58 /hbase/.hbase-snapshot/newSnapshot/.snapshotinfo

  4. -rw-r--r-- 3 xxx xxx 486 2017-04-24 21:58 /hbase/.hbase-snapshot/newSnapshot/data.manifest

 

4. 使用ExportSnapshot工具迁移快照数据

  ExportSnapshot是HBase提供的Snapshot迁移工具，其使用方法见下图：

 

 

 

可以看出，这个工具的参数列表和HDFS的DistCp工具很类似。其简要流程如下：

  1. 首先通过HDFS的cp方法，将/.hbase-snapshot/newSnapshot目录拷贝至新集群上
  2. 然后将/hbase/data/<table>下面的数据文件通过MapReduce的方式（DistCp）拷贝至 新集群的/hbase/archive/data/<tablename>
  3. 最后检查snapshot相关文件的完整性

5. 数据合并方式

  一旦数据迁移到了新集群，我们可以通过clone_snapshot命令重新生成该表，如果业务是一个可以支持离线迁移的，那迁移工作也就算完成了。更多的情况是，业务开了双写，即老集群和新集群同时在更新数据，我们需要把迁移后的数据进行合并。这里有三种方法：

5.1. 使用Phoenix SQL导入

  需要在新集群上开启Phoenix支持（如何安装Phoenix见相关文档）

  假设双写的新表为A'，A'表必须使用Phoenix的接口来创建。其使用方法与常规的SQL语法类似，但是要注意其splitKey的用法：

 

 

 

例1. 创建一个表t1，只有一个列族f1，有1个修饰字段body, splitKey为['a','b','c']

 

  1. CREATE TABLE IF NOT EXISTS t1

  2. ( "id" char(10) not null primary key, "f1".body varchar)

  3. DATA_BLOCK_ENCODING='NONE',VERSIONS=5,MAX_FILESIZE=2000000 split on ('a', 'b', 'c')

使用clone_snapshot命令将迁移的数据重新生成一个HBase表B，然后再使用Phoenix的DDL重新生成B表（和实际的表B不会冲突，Phoenix的元数据存在另外的目录下），最后使用UPSERT SELECT命令将B表中的数据插入到双写的A’表即可

UPSERT INTO A'("id","f1".body) SELECT "id","f1".body FROM B;

注： 使用Phoenix的问题在于，原来的业务模式需要做较大改动以适应新的JDBC访问HBase方式。

5.2. 使用MapReduce导入

  使用MapReduce导入需要有YARN服务支持，同样需要先使用clone_snapshot命令将迁移的数据重新生成一个HBase表。

用户需要使用HBase的API从表中读取记录，然后插入到新的表，这个方法实际上就是上面Phoenix的底层实现。如果集群没有安装Phoenix插件，可以用这个方法。但这个方法的缺点也是显而易见，需要自己写代码来实现在一个Map中实现上述操作，且如何切分RowKey到各个Map任务中也是一个不小的难题。

5.3. 使用IncrementLoadHFile工具

  顾名思义，这个工具可以实现往HBase表中添加HFile来实现数据的批量写入，其使用方法如下：

 

  1. bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles

  2. usage: completebulkload /path/to/hfileoutputformat-output tablename

  3. -Dcreate.table=no - can be used to avoid creation of table by this tool

  4. Note: if you set this to 'no', then the target table must already exist in HBase

这个工具的使用说明很简单，只需要提供一个HFile文件所在的Hdfs路径名和所需要写入的HBase Table名即可。
例1. 将/tmp/hbase/archive/data/test/test/f8510124151cabf704bc02c9c7e687f6目录下的HFile文件加载到test:test表中

bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles -Dcreate.table=no /tmp/hbase/archive/data/test/test/f8510124151cabf704bc02c9c7e687f6 test:test

其实现原理说明如下：

  1. 首先确认目录下的HFile文件是否合法，得到一个文件列表。
  2. 从列表中获取某一个HFile，获取文件的起始和结束rowKey
  3. 查找要导入到新表的各个Region，得到其StartEndKeys（每次都是重新重启）
  4. 根据HFile的startKey，判断该HFile应该插入的Region位置
  5. 以该HFile的起始rowkey所要插入的Region的EndKey将文件切成top和bottom两部分，将这2个文件加入到待加载的文件列表中
  6. 使用SecureBulkLoadHFile方法一次性批量加载这些文件，如果其中有文件加载失败，则方法失败，返回异常的文件列表。
  7. 将返回的异常文件，加入到循环加载的文件列表里。
  8. 继续重复2-7整个流程，直至完成加载或达到重试阈值而异常退出。

SecureLoadHFile的原理也很简单，它是一个原子操作，所以操作过程中会有短暂的卡顿。

  1. 检查待加载的HFiles是否来自多个列族，需要对多个列族同时加锁以保障一致性。
  2. 检查该次操作是否满足相关权限要求，同时也会将对应的HFile文件进行权限变更操作
  3. 完成HFile文件加载，新的HFile引用被加入到Region的StoreFile列表中。

对这块逻辑感兴趣的同学，可以自行查阅SecureBulkLoadEndpoint，HRegion，HStore等类。

 

关于如何减少批量加载的时间，有以下几点需要注意： 

  1. 如果新集群上的regions的起始和结束rowkey分布正好和旧集群一致，那么使用批量加载HFile的方式可以最快的方式来合并到线上表中。否则就需要针对新的Region来拆分HFile。
  2. 调整hbase.hregion.max.filesize参数，该参数用于控制一个Region下的最大HFile的文件大小，超过该值后，系统会强制拆分这个文件。新旧集群上这个参数配置可能会不一致，为了尽快完成加载，可以考虑将其设置成一致，或者新集群上的配置更大，这样也能减少加载时间
  3. 该工具默认的重试次数是10次，即一个Hfile如果拆分次数超过10次，就会放弃本次批量加载。 需要注意留意日志

6. 数据验证

HFile文件增量加载更新完毕之后，进行数据验证流程。因为数据量实在太大，不可能对两边的HBase表中的记录做一一比对，故可进行抽样验证。按照Snapshot和双写的机制来讲，数据可能有重复，但不可能存在丢失的情况。验证算法描述如下：

  1. 按照迁移过程中不同阶段，划分成不同的时间区域。 对于每一个时间区间，选一个子区间作为样本
  2. 选定旧集群中的A表，获取其Region信息，得到每个Region的起始rowkey
  3. 按照每个Region的起始rowkey， 顺序查找 N 条该区间中的rowkey记录
  4. 根据上一步拿到的rowkey到相应的测试表中（A'）中查找是否能找到匹配的记录。
  5. 找到记录后，对比相应Column+Cell信息，能够都完全匹配即为一个匹配的记录（因为双写的原因，时间戳会有先后，故不判断时间戳。rowkey已能满足要求）

使用Java连接Kerberized HBase的需要的配置如下：

hbase-site.xml

 

  1. <configuration>

  2.     <property>

  3.         <name>fs.defaultFS</name>

  4.         <value>hdfs://test1.163.org:8020</value>

  5.     </property>

  6.     <property>

  7.         <name>hbase.rootdir</name>

  8.         <value>hdfs://test1.163.org:8020/hbase</value>

  9.     </property>

  10.     <property>

  11.         <name>hbase.zookeeper.quorum</name>

  12.         <value>test1.163.org,test2.163.org,test3.163.org</value>

  13.     </property>

  14.     <property>

  15.         <name>zookeeper.znode.parent</name>

  16.         <value>/hbase</value>

  17.     </property>

  18.     <property>

  19.         <name>hbase.cluster.distributed</name>

  20.         <value>true</value>

  21.     </property>

  22.     <property>

  23.         <name>hadoop.security.authorization</name>

  24.         <value>true</value>

  25.     </property>

  26.     <property>

  27.         <name>hadoop.security.authentication</name>

  28.         <value>kerberos</value>

  29.     </property>

  30.     <property>

  31.         <name>hbase.rpc.timeout</name>

  32.         <value>180000</value>

  33.     </property>

  34.     <property>

  35.         <name>hbase.client.operation.timeout</name>

  36.         <value>120000</value>

  37.     </property>

  38.     <property>

  39.         <name>hbase.security.authentication</name>

  40.         <value>kerberos</value>

  41.     </property>

  42.     <property>

  43.         <name>hbase.security.authorization</name>

  44.         <value>true</value>

  45.     </property>

  46.     <property>

  47.         <name>dfs.namenode.principal</name>

  48.         <value>hdfs/_HOST@HADOOP.HZ.NETEASE.COM</value>

  49.     </property>

  50.     <property>

  51.         <name>hbase.master.kerberos.principal</name>

  52.         <value>hbase/_HOST@HADOOP.HZ.NETASE.COM</value>

  53.     </property>

  54.     <property>

  55.         <name>hbase.regionserver.kerberos.principal</name>

  56.         <value>hbase/_HOST@HADOOP.HZ.NETASE.COM</value>

  57.     </property>

  58.     <property>

  59.         <name>hbase.client.scanner.caching</name>

  60.         <value>100000</value>

  61.     </property>

  62. </configuration>

认证模块的代码片段如下（仅作参考）

 

  1. Configuration configuration = HBaseConfiguration.create();

  2. configuration.addResource("hbase-site.xml");

  3. UserGroupInformation.setConfiguration(configuration);

  4. UserGroupInformation.loginUserFromKeytab("principal", "keytab.path");

  5.  

  6. TableName tableName = TableName.valueOf("hbase.table.name"));

  7. Connection connection = ConnectionFactory.createConnection(configuration);

  8. HTable table = (HTable) connection.getTable(tableName);

 

7. 事后操作 

  因为批量加载操作会对原HFile文件进行多次拷贝，拆分等操作，会消耗大量的HDFS存储资源和物理机磁盘空间。 在数据合并完成并验证后，可以清理掉这些临时结果。此外如果在加载过程中出现了较多的自动Region切分，也可在此时重新将小Region进行合并。 最后在新集群上专门为数据迁移开启的YARN服务也可以停掉了，减少对HBase服务的影响。

回忆美好
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hbase基于快照的数据迁移
07-10
hbase基于快照的数据迁移，hbase提供的数据迁移方案。
HBase数据迁移实战
网易数帆社区博客
07-18 4304
本文来自 网易云社区  最近为产品做了一次HBase的数据迁移操作，学习了一些相关的技术和实现方案。现整理出来，作为今后HBase数据迁移的参考。如有纰漏，欢迎指正。 1. 前期准备 1.1 确认集群使用的版本   源HBase集群（以下称旧集群）和目的HBase集群（以下称新集群）的版本可能并不是一致的，特别是其底层所使用的HDFS版本信息。譬如这样一个数据迁移场景：业务希望从低版本的H...
HBase 数据迁移方案介绍
weixin_30474613的博客
12-12 870
一、前言 HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类： 图1.HBase数据迁移方案 从上面图中可看出，目前的方案主要有四类，Hadoop层有一类，HBase层有三类。下面分别介绍一下。 二、Hadoop层数据迁移 2.1 方案介绍 Hadoop层的数据迁移主要用到DistCp(Distributed Copy)， 官方描述是：DistCp（分布式拷贝）是用于大规模...
Trafodion 使用HBase snapshot方式迁移单表
数据源的港湾
12-18 2121
在前面的一篇文章中，我们介绍了如何使用Trafodion自带的UNLOAD功能进行数据导出以及使用odb工具进行数据导入，合起来完成两个不同的Trafodion集群之间（即便是网络不联通情况）的单表迁移工作，详情请参考博客： http://blog.csdn.net/post_yuan/article/details/72964165然而，此种方式需要把数据先导成为文本文件（可能为压缩格式）然后再用
HBase 数据迁移
跋跋寒的博客
06-27 6813
原文地址：https://utf7.github.io/2018/01/13/hbase-data-migration/本文介绍 HBase 常见的适合大数据量的迁移方法:DISTCP、SNAPSHOT1、DSTCP+FIX 元数据信息2、SNAPSHOT快照导出迁移DISTCP迁移DISTCP的思路是，直接通过DISTCP拷贝HBase 的目录文件到目标集群，然后在目标集群通过hbase提供的h...
关于HbaseSnapshot迁移得理解
wqy55621594的博客
04-25 183
最近在进行Hbase数据迁移的时候,发现HbaseSnapshot是比较常用的一种方法,个人理解快照应该是元数据而不包含数据的,类似与HDFS快照 如果使用HDFS进行数据迁移要使用到distcp.但是为什么hbase得快照迁移不需要迁移数据呢,执行命令就可以通过快照做到数据迁移 sudo –u hdfs hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot s1 –copy-from hdfs://ip:port/hbase –copy-to hdf
HBase数据容灾技术方案
02-26
No-SQL、云计算、海量数据分析的普及，使我们越来越关注系统的可靠性（HighAvailability），数据容灾/数据恢复是高可用系统的一个很重要的技术组成，本文由简入深，一步步搭建一个HBase数据集群，并详细说明生产环境...
大数据-数据迁移-hive、hbase、kudu迁移
03-29
由于大数据里面涉及到非关系型数据库如hive、kudu、hbase等的数据迁移，目前涉及到的迁移工具都没有支持hive数据库的事务表的迁移，如果hive库里面存在大量的事务表的时候，目前的工具都是不支持的，例如华为的CDM，...
hbase-0.94.1手动数据迁移.docx
11-06
介绍如何hbase-0.94.1手动进行数据迁移
hbase数据可视化系统
07-14
springboot搭建的hbase可视化界面 支持hbase的建表与删除 支持根据rowkey查询数据
Hbase跨集群迁移
weixin_43320617的博客
08-26 2578
一、Hbase跨集群迁移方式## 标题 Hbase跨集群迁移的方式：copyTable、distcp、export/import、snapshot。 备注：新集群Hbase 版本cdh 2.1.0。 1、copyTable方式集群间迁移（HBase层数据迁移） copyTable也是属于HBase数据迁移的工具之一，以表级别进行数据迁移。copyTable的本质也是利用MapReduce进行同步的，与DistCp不同的时，它是利用MR去scan 原表的数据，然后把scan出来的数据写入到目标集群的表。这种方
Hbase的completebulkload导入数据
Chunhong Song的专栏
11-23 2075
有时候，我们需要将日志文件中的数据导入到Hbase中，通常情况下，你可以写一个方法逐行读取日志记录然后写入到Hbase中，但是这种方法往往效率比较低下，更好地方式试讲日志文件的内容通过某种工具直接导入到Hbase中，会显得更快速更方便，Hbase中有现成的工具支持来这么做。 这两个工具分别是ImportTSV和complete不离开load。 ImportTSV是用来将日志文件转化成HFile
HBase的Snapshots功能介绍
smarthhl的专栏
08-28 566
HBase的Snapshots功能介绍 hbase的snapshot功能还是挺有用的，本文翻译自cloudera的一篇博客，希望对想了解snapshot的朋友有点作用，如果翻译得不好的地方，请查看原文Introduction to Apache HBase Snapshots 对照。 在之前，备份或者拷贝一个表只能用copy/export表，或者disable表后...
Hbase表跨集群迁移手册
xiaokebiubiubiu的博客
02-25 383
Hbase表跨集群迁移手册 将旧集群的namespaceA下的表移到新集群的namespaceB下面 1、检查新、旧集群的hdfs、hbase是否正常 （1）使用命令：hbase hbck #查看hbasemeta表情况，确认0个，说明hdfs中的数据和hbase表中的meta表是对应的。 （2）使用hdfs dfsadmin –report 查看集群中的hdfs是否有block异常 查看无异常以后，继续前进。。。 2、将旧集群文件数据复制至新集群 （1）前面确认好两...
Hbase集群间数据迁移方法总结（包括不通信集群）
热门推荐
bigkeen的专栏
04-01 1万+
问题导读： 1.不同版本间集群是否可以迁移？ 2.distcp命令的作用是什么？ 3..MEAT表的作用是什么？ 4.相互不通信集群，数据该如何迁移？ HBase迁移数据方案一（集群互联） 花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。 一、需要在hbase集群停掉的情况下迁移 步骤： (1)执行Hadoop distcp
关于hbase的数据迁移
07-20 357
场景： 一套自己编译的Hbase集群 A 一套自己通过cloudera平台搭建的Hbase集群 B 注意：（ 我的两套集群是同一个网段的） 方式1：通过快照方式进行数据迁移（不需要提前建表） 1）：首先现在老集群A上进行快照制作（hbase命令行） hbase> snapshot '要快照的表名tableA' , '快照名称snapA' 查看快照：l...
hbase跨集群迁移数据（实践检验版）
gudong2945的专栏
01-18 319
--数据迁移 步骤0:清理目标集群 1>删除目标集群上要导入的表 1.1>进入命令行 $HBASE_HOME/bin/hbase shell 1.2>下线表 disable '{tableName}' 1.3>删除表 enable '{tableName}' 2...
Hbase跨集群数据迁移脚本
weixin_47099283的博客
10-26 585
Hbase跨集群数据迁移脚本
HBase的权限控制
进一步有一步的欢喜
08-27 6899
HBase自带的权限管理工具： HBase的权限管理包括两个部分，分别是Authentication&Authorization Authentication：针对某host是否有权成为集群的regionserver或者client端； Authorization：是针对client端对集群数据的读写等权限； 其中Authentication由kerberos提供解决方
hbase数据迁移步骤
最新发布
05-18
HBase数据迁移的步骤如下： 1. 准备目标集群：在目标集群中安装HBase，并确保该集群具有足够的容量来容纳源集群的数据。 2. 备份源HBase表：使用 HBase 命令行界面或 HBase shell 工具备份源 HBase 表。 3. 将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值