数据导入方式一:基本数据导入
第一步:数据从目标集群导出
hbase org.apache.hadoop.hbase.maprduce.Export 表名 /导出表的hdfs路径
支持增量导入 在原有的导入命令下添加版本号和时间戳
hbase org.apache.hadoop.hbase.maprduce.Export 表名 /导出表的hdfs路径 版本号 时间起点 时间结束
第二步:将数据从hdfs移动到本地
hadoop fs -get /hfds路径 /指定本地导入路径
第三步:将备份文件拷贝到新集群的指定目录
通过hadoop指令上传到新集群的hfds中 hadoop dfs -put /本地路径 /集群路径
第四步:导入数据到hbase中
1:在hbase中创建一张一样的表 create '表名','表结构'
执行hbase导入命令 hbase org.apache.hadoop.hbase.maprduce.import 创建的表名 /hfds路径
hbase org.apache.hadoop.hbase.maprduce.import 表名 /hfds路径
第五步:查看是否导入
scan "表名"
数据导入方式二:大量数据导入
hbase org.apache.hadoop.hbase.maprduce.Export 导出表名 导出的hdfs路径
可能会出现数据导出占用过多的内存,导致NameNode节点被杀死。可以通过设置mapred-site.xml中的map和redudce任务内存配置进行修改
hbase数据迁移-利用export/import
最新推荐文章于 2022-03-27 00:32:31 发布