hbase 数据迁移

最新推荐文章于 2024-06-12 10:51:15 发布

bigdataf

最新推荐文章于 2024-06-12 10:51:15 发布

阅读量589

点赞数

分类专栏： hbase 文章标签： hbase 迁移

本文链接：https://blog.csdn.net/bigdataf/article/details/85297610

版权

hbase 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

#!/bin/bash
#hbase org.apache.hadoop.hbase.mapreduce.Import -Dimport.wal.durability=SKIP_WAL namespace:tablename /user/tjoffline/hbase_export_tablename/
#hbase org.apache.hadoop.hbase.mapreduce.Import -Dimport.wal.durability=SKIP_WAL namespace:tablename /user/offline/hbase_export_tablename/

#1.将数据导出
#HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.Export -Dhbase.client.scanner.caching=1000 -Dhbase.export.scanner.batch=10 TableName(导出的表名) hdfs://host:8020/user/hbase/TableName_HDFS(导出到HDFS目录)

#2.使用Import将Export的数据转换为HFile
#hbase org.apache.hadoop.hbase.mapreduce.Import -Dimport.bulk.output=/user/hbase/TableName_OutPut(HDFS导出目录，为了下一步导入使用) TableName(表名) /user/hbase/TableName_HDFS(1中的最后的目录)
hbase org.apache.hadoop.hbase.mapreduce.Import -Dimport.bulk.output=/user/offline/balkload_hbase_export_tablename/ namespace:tablename /user/tjoffline/hbase_export_tablename/

#3.将HFile移动到表TableName对应的Hbase目录
#HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/hbase/TableName_OutPut(2中的HDFS导出目录) TableName (表名)
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/offline/balkload_hbase_export_tablename/ namespace:tablename