Hbase表export和import

HBase 数据迁移全流程实操
最新推荐文章于 2025-09-29 17:34:03 发布
转载 最新推荐文章于 2025-09-29 17:34:03 发布 · 591 阅读 · 1
文章标签：

#大数据 #java #ui

1、查看要做测试的表test

  1. hbase(main):002:0> scan 'test'
  2. ROW COLUMN+CELL
  3.  row-01 column=cf1:id, timestamp=1442020353563, value=1
  4.  row-01 column=cf1:name, timestamp=1442020382276, value=aaa
  5.  row-02 column=cf1:id, timestamp=1442020360143, value=2
  6.  row-02 column=cf1:name, timestamp=1442020388494, value=bbb
  7.  row-03 column=cf1:id, timestamp=1442020364496, value=3
  8.  row-03 column=cf1:name, timestamp=1442020393616, value=ccc
  9.  row-04 column=cf1:id, timestamp=1442020369002, value=4
  10.  row-04 column=cf1:name, timestamp=1442020398557, value=ddd
  11.  row-05 column=cf1:id, timestamp=1442020373493, value=5
  12.  row-05 column=cf1:name, timestamp=1442020404131, value=eee
  13. 5 row(s) in 0.7520 seconds

2、使用Hadoop的export功能导出test表

首先查看JAR表的有哪些帮助选项

  1. grid@master1:~$ hadoop jar /usr/local/hbase/hbase-0.94.27.jar -h
  2. Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/collect/Multimap
  3.         at org.apache.hadoop.hbase.mapreduce.Driver.main(Driver.java:43)
  4.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  5.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  6.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  7.         at java.lang.reflect.Method.invoke(Method.java:606)
  8.         at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
  9. Caused by: java.lang.ClassNotFoundException: com.google.common.collect.Multimap
  10.         at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
  11.         at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
  12.         at java.security.AccessController.doPrivileged(Native Method)
  13.         at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
  14.         at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
  15.         at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
  16.         ... 6 more
报错java.lang.NoClassDefFoundError: com/google/common/collect/Multimap，找不到Hbase类
  1. grid@master1:~$ cp /usr/local/hbase/lib/guava-11.0.2.jar /usr/local/hadoop/lib
再次执行，还是报错
  1. grid@master1:~$ hadoop jar /usr/local/hbase/hbase-0.94.27.jar -h
  2. Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/zookeeper/KeeperException
  3.         at java.lang.Class.getDeclaredMethods0(Native Method)
  4.         at java.lang.Class.privateGetDeclaredMethods(Class.java:2615)
  5.         at java.lang.Class.getMethod0(Class.java:2856)
  6.         at java.lang.Class.getMethod(Class.java:1668)
  7.         at org.apache.hadoop.util.ProgramDriver$ProgramDescription.<init>(ProgramDriver.java:56)
  8.         at org.apache.hadoop.util.ProgramDriver.addClass(ProgramDriver.java:99)
  9.         at org.apache.hadoop.hbase.mapreduce.Driver.main(Driver.java:47)
  10.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  11.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  12.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  13.         at java.lang.reflect.Method.invoke(Method.java:606)
  14.         at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
  15. Caused by: java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException
  16.         at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
  17.         at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
  18.         at java.security.AccessController.doPrivileged(Native Method)
  19.         at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
  20.         at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
  21.         at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
  22.         ... 12 more
还是有报错，但是报错的信息与之前不一样了，说明复制的JAR包是正确的，这次是说找不到Zookeeper
  1. grid@master1:~$ cp /usr/local/zookeeper/zookeeper-3.4.5.jar /usr/local/hadoop/lib
复制Zookeeper的JAR包到Hadoop的lib目录中，再次执行
  1. grid@master1:~$ hadoop jar /usr/local/hbase/hbase-0.94.27.jar -h
  2. Unknown program '-h' chosen.
  3. Valid program names are:
  4.   CellCounter: Count cells in HBase table
  5.   completebulkload: Complete a bulk data load.
  6.   copytable: Export a table from local cluster to peer cluster
  7.   export: Write table data to HDFS.
  8.   import: Import data written by Export.
  9.   importtsv: Import data in TSV format.
  10.   rowcounter: Count rows in HBase table
  11.   verifyrep: Compare the data from tables in two different clusters. WARNING: It doesn't work for incrementColumnValues'd cells since the timestamp is changed after being appended to the log.
3、正式执行Hbase export表的操作
  1. grid@master1:~$ hadoop jar /usr/local/hbase/hbase-0.94.27.jar export -D mapred.output.compress=true -D mapred.output.compression.condec=org.apache.hadoop.io.compress.BZip2Codec -D mapred.output.compression.type=BLOCK test /backup/test 2147483647
  2. 15/09/13 01:35:49 INFO mapreduce.Export: versions=2147483647, starttime=0, endtime=9223372036854775807, keepDeletedCells=false
  3. Exception in thread "main" java.lang.reflect.InvocationTargetException
  4.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  5.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  6.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  7.         at java.lang.reflect.Method.invoke(Method.java:606)
  8.         at org.apache.hadoop.hbase.mapreduce.Driver.main(Driver.java:51)
  9.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  10.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  11.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  12.         at java.lang.reflect.Method.invoke(Method.java:606)
  13.         at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
  14. Caused by: java.lang.NoClassDefFoundError: com/google/protobuf/Message
  15.         at org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.addHBaseDependencyJars(TableMapReduceUtil.java:657)
  16.         at org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.addDependencyJars(TableMapReduceUtil.java:694)
  17.         at org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.initTableMapperJob(TableMapReduceUtil.java:151)
  18.         at org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.initTableMapperJob(TableMapReduceUtil.java:228)
  19.         at org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.initTableMapperJob(TableMapReduceUtil.java:94)
  20.         at org.apache.hadoop.hbase.mapreduce.Export.createSubmittableJob(Export.java:95)
  21.         at org.apache.hadoop.hbase.mapreduce.Export.main(Export.java:188)
  22.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  23.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  24.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  25.         at java.lang.reflect.Method.invoke(Method.java:606)
  26.         at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
  27.         at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)
  28.         ... 10 more
  29. Caused by: java.lang.ClassNotFoundException: com.google.protobuf.Message
  30.         at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
  31.         at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
  32.         at java.security.AccessController.doPrivileged(Native Method)
  33.         at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
  34.         at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
  35.         at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
  36.         ... 23 more
还是报错，真是麻烦啊，这次是protobuf包
  1. grid@master1:~$ cp /usr/local/hbase/lib/protobuf-java-2.4.0a.jar /usr/local/hadoop/lib
复制缺少JAR包protobuf，再次执行export
  1. grid@master1:~$ hadoop jar /usr/local/hbase/hbase-0.94.27.jar export -D mapred.output.compress=true -D mapred.output.compression.condec=org.apache.hadoop.io.compress.BZip2Codec -D mapred.output.compression.type=BLOCK test /backup/test 2147483647
  2. .....................................................
  3. 15/09/13 01:48:57 INFO mapred.JobClient: Running job: job_201509122338_0002
  4. 15/09/13 01:48:58 INFO mapred.JobClient: map 0% reduce 0%
  5. 15/09/13 01:49:18 INFO mapred.JobClient: map 100% reduce 0%
  6. 15/09/13 01:49:23 INFO mapred.JobClient: Job complete: job_201509122338_0002
  7. 15/09/13 01:49:23 INFO mapred.JobClient: Counters: 29
  8. .....................................................

查看MR的UI，可以看到有一个job，是执行了export_test操作

4、为import操作做准备，truncate表test，此操作，是先disable表，在drop表，最后create表

  1. hbase(main):004:0> truncate 'test'
  2. Truncating 'test' table (it may take a while):
  3.  - Disabling table...
  4.  - Dropping table...
  5.  - Creating table...
  6. 0 row(s) in 3.5160 seconds
  7.   
  8. hbase(main):005:0> scan 'test'
  9. ROW COLUMN+CELL
  10. 0 row(s) in 0.0270 seconds
5、执行import操作，导入test表
  1. grid@master1:~/sh$ hadoop jar /usr/local/hbase/hbase-0.94.27.jar import test /backup/test
  2. .....................................................................
  3. 15/09/13 02:01:14 INFO mapreduce.TableOutputFormat: Created table instance for test
  4. 15/09/13 02:01:14 INFO input.FileInputFormat: Total input paths to process : 1
  5. 15/09/13 02:01:15 INFO mapred.JobClient: Running job: job_201509122338_0003
  6. 15/09/13 02:01:16 INFO mapred.JobClient: map 0% reduce 0%
  7. 15/09/13 02:01:36 INFO mapred.JobClient: map 100% reduce 0%
  8. 15/09/13 02:01:41 INFO mapred.JobClient: Job complete: job_201509122338_0003
  9. ..................................................................

UI中多了一个import_test的job


6、查看test测试表，记录都找回来了

  1. hbase(main):006:0> scan 'test'
  2. ROW COLUMN+CELL
  3.  row-01 column=cf1:id, timestamp=1442020353563, value=1
  4.  row-01 column=cf1:name, timestamp=1442020382276, value=aaa
  5.  row-02 column=cf1:id, timestamp=1442020360143, value=2
  6.  row-02 column=cf1:name, timestamp=1442020388494, value=bbb
  7.  row-03 column=cf1:id, timestamp=1442020364496, value=3
  8.  row-03 column=cf1:name, timestamp=1442020393616, value=ccc
  9.  row-04 column=cf1:id, timestamp=1442020369002, value=4
  10.  row-04 column=cf1:name, timestamp=1442020398557, value=ddd
  11.  row-05 column=cf1:id, timestamp=1442020373493, value=5
  12.  row-05 column=cf1:name, timestamp=1442020404131, value=eee
  13. 5 row(s) in 0.0680 seconds


来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/12219480/viewspace-1799128/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/12219480/viewspace-1799128/

crj2951
关注
hbase export 使用小技巧
wzg0312的专栏
12-03 4957
在工作中经常使用hbase的export功能来导出数据，在此总结几种小技巧： 建议导出的数据先放到hdfs上，再从hdfs上拿下来 之前经常使用如下命令进行数据备份： hbase org.apache.hadoop.hbase.mapreduce.Export backup_table file:///tmp/backup_table 使用单机版做此操作是没有问题的，但是当使用多
HBase详解（3）
m0_51388399的博客
04-09 1320
Phoenix是Apache提供的基于HBase的JDBC的工具，提供了类SQL语言来操作HBasePhoenix进行数据分析的OLTP的框架，可以预HBase、Flume、Hive、Spark、Flink等框架进行集成特点优点：提供了类SQL语言来操作HBase的数据，降低了学习HBase的成本缺点：提供的语言并不是标准的SQL；底层是将SQL转化为HBase API操作，所以效率不如直接操作HBase。
hbase的 export以及import工具使用示例 + 时间区间+ key前缀
mtj66的博客，交流WX:SpringBreeze1104
10-06 1万+
1.hbase中的数据hbase(main):025:0&gt; scan 'users'ROW                                COLUMN+CELL                                                                                       TheRealMT             ...
HBase全量+增量迁移import/export方式
最新发布
前方的路在刚开始
09-29 257
本文是用自带的hbase import/export方法，由于原端不开放hdfs数据，并且因为底层存储不能打快照，目标端也不开放，所以只能通过这种方式。（这种方式比较耗性能）建议从主库，搞一个备份库，再用这种导出备份库的数据。
hbase的export与import工具
蓝色时分
09-01 516
hbase提供了导出表的方案，将指定的表导出到HDFS或本地，这样方便了备份或数据转移。 最快的方式是通过mapreduce来完成这件事，需要在hbase的conf中添加mapred-site.xml： [code="java"] mapred.job.tracker 192.168.0.1:9001 hadoop.tmp.dir /tmp/ha...
HBase数据Export & Import
世界那么大，我想去看看！
12-31 4093
1、将数据导出$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.Export -Dhbase.client.scanner.caching=1000 -Dhbase.export.scanner.batch=10 TableName(导出的表名) hdfs://host:8020/user/hbase/TableName_HDFS(导
hbase迁移增量数据 Export/Import
05-07
好的，我现在需要帮助用户解决关于HBase增量数据迁移使用Export和Import工具的问题。用户明确提到了增量数据迁移，并且希望了解使用Export和Import工具的教程或解决方案。首先，我要回忆一下HBase的数据迁移方法，...
Sqoop其一，理论、安装、使用、import和export简单示例
出发行进
01-02 1321
Sqoop的理论，安装，使用以及案例演示，希望对你有所帮助。
hbase使用export导出json格式数据
08-15
`Export`工具主要用于将HBase表中的数据导出为HFile格式，以便后续通过`Import`工具导入到其他HBase集群中。如果需要将HBase中的数据导出为JSON格式，可以通过以下几种方式实现： ### 使用MapReduce任务导出为JSON...
hbase和hadoop数据块损坏处理
11-05
Export 和 Import 是 HBase 的内置功能，可以将 HBase 表内容输出成 HDFS 的 SequenceFiles 文件，然后将文件插入到 HBase 表中。 Snapshot 是 HBase 的快照功能，可以快速创建快照，然后将快照恢复到 HBase 表中。...
使用MapReduce把HBase表中的数据迁移到另一张HBase表中
fczheng的博客
08-16 643
目标：将HBase中student表中的数据，通过MR迁入student_mr表中。 1. 添加Maven依赖 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>h...
BatchImportBaseInfo.java
12-26
这是用来做批处理的东西,Reocode Set 自己封装的,比JDBC效率高,比MYBATIS 和 HERBIERNAMET不知道如何,很好用的东西,比PLDEVPMENT执行效率要高,但是和服务器当然是没得比,本机上执行的效率肯定是最高的.
Hbase export and import
qq_27593415的博客
10-26 462
hbase export and import
Hbase数据备份与还原（Export/Import方式）
刘李404not_found的博客
04-29 2174
一、准备工作 1.1 准备两台装好Hbase的服务器 服务器名 IP server1 192.168.48.128 server4 192.168.48.131 1.2 Server1的Hbase创建一个带数据的table1表 创建table1表 hbase(main):012:0> create 'table1', 'tab1_id' hbase(main):013...
Hbase备份（HBase Backup）之 Hbase Export、Hbase Import
主要写大数据集群一线运维和学习工作经验
10-17 2571
目录 Export mapreduce-based Export endpoint-based Export 对照表 Import export 方法将表的内容转储到同一集群上的HDFS。要恢复数据，将使用 import 。 Export 将表数据以 sequence file 的格式转存到 HDFS，通过运行Coprocessor Endpoint 或MapReduce。 ...
HBase 数据备份 | export | import
我是一块小石头
08-10 546
文章目录导出export导入import 导出export 以test表为例 删除/移动原有备份 hadoop fs -rm -r /opt/hbase-data-back/test_back 创建表 hbase shell create 'test','info' 插入数据 put 'test','01','info:msg','hello' put 'test','02','info:msg','hello' put 'test','03','info:msg','hello' 导
hbase import & export
热门推荐
stark_summer的专栏
10-12 1万+
对于两个hadoop集群（生产环境和测试环境），想讲两个hbase表同步或者迁移，更保守的方式使用hbase自带的import & exportexport 语法为： bin/hbase org.apache.hadoop.hbase.mapreduce.Export ERROR: Wrong number of arguments: 0 Usage: Export [-D <property=va
hbase export import table
04-29 175
HBase数据导入导出（export import）
weixin_33953249的博客
08-23 1393
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值