hbase加载HFile文件格式

最新推荐文章于 2021-07-02 20:03:06 发布

chinalgf

最新推荐文章于 2021-07-02 20:03:06 发布

阅读量605

点赞数

分类专栏： Hbase Shell

本文链接：https://blog.csdn.net/morning_pig/article/details/8921931

版权

Hbase 同时被 2 个专栏收录

20 篇文章 0 订阅

订阅专栏

Shell

8 篇文章 0 订阅

订阅专栏

hbase的加载hfile文件工具CompleteBulkLoad：

$ bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles <hdfs://storefileoutput> <tablename>

但是，CompleteBulkLoad并不能支持多个目录的情况：

所以只能自己写个shell脚本将多个目录中存在的hfile文件加载到hhbase中：

#!/bin/bash
for file in `cat hr.log`
do
    hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles hdfs://host:9000/hbase/cookie_match/$file cookie_match
done

其中，hr.log文件：

[tmp@host test]$ more hr.log 
00549fe9afe9cdbeeed8f861120ab93a
01c49321531b4bd00d4b512444879207
09157e6f7cf02247b1061662523e2a53
0951ecc1f69dbdc3844bfe31ab3978cc
0dd7135737f53be144283dd99013b0bb
1e8488306c93c133e000a892fc464004
1f27dfc1bf400d4d4e273bd7e9c925fa
21fe5e4aa82e9c8a36934765d236e2ef
22d8e97977fbed24ee43da77482a65d9
22e939ce562f803c9acf74b1459d4646
23c731d3f3e56df1fa1a4dc98e8c4c30
2640b931e6719dae0a431c689fddc20b
2812b11c92bba78e02f04d48ac179a88
2b6524f9535795c82fd8b374c71d9606
357ac3cc20a0552ce931a2c9f7197142
3a2daeefb3bd6068fb6d2d37e2d0be0c
3ab743d7d06107bda2052dd1c8af89e9
3c39d88df802cd9bfb4bfad6d5a63a95
3cedc55c5cb21557de2a272af38850e7
3ef557bee3039d7f0672a4dee69851c7
425dbb51a95569076c16362efc257d89
484da774f015798090cd2e86cd9ba3d6
4c064d7400416a56fcb2af9cc587830b