Hive表数据同步至HBase

SparkBulkload

(1)编写 Spark 程序转换原始数据为 HFile
(2)利用 HBase 的 bulkload 命令移动 HFile 至合适的位置。

大数据开发之Hive表数据同步至HBase
https://blog.csdn.net/m0_58371965/article/details/122408041
贝壳基于Spark的HiveToHBase实践
https://blog.csdn.net/wypblog/article/details/118124451

参考文章:
1. 20张图带你到HBase的世界遨游【转】 - sunsky303 - 博客园
https://www.cnblogs.com/sunsky303/p/14312350.html
2. HBase原理-数据读取流程解析
http://HBasefly.com/2016/12/21/HBase-getorscan/?aixuds=6h5ds3
3. Hive、Spark SQL任务参数调优
https://www.jianshu.com/p/2964bf816efc
4. Spark On HBase的官方jar包编译与使用
https://juejin.cn/post/6844903961242124295
5. Apache HBase ™ Reference Guide
https://hbase.apache.org/book.html#_bulk_load
6. HBase and Spark-HBase中文参考指南 3.0
https://www.cntofu.com/book/173/docs/17.md


hive 到数据到hdfs hive数据导入hbase 
https://blog.51cto.com/u_16099302/6697032

hbase.hregion.max.filesize(默认256MB)
set mapred.reduce.tasks=12;
SET hive.hbase.bulk=true;

# 传统方式
HLog->MemStore->Store->StoreFile->Hfile->load
# completebulkload
hfile->load


spark读取文件,生成hfile并批量导入hbase
https://blog.csdn.net/MyNameIsWangYi/article/details/115677510

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值