SparkBulkload
(1)编写 Spark 程序转换原始数据为 HFile
(2)利用 HBase 的 bulkload 命令移动 HFile 至合适的位置。
大数据开发之Hive表数据同步至HBase
https://blog.csdn.net/m0_58371965/article/details/122408041
贝壳基于Spark的HiveToHBase实践
https://blog.csdn.net/wypblog/article/details/118124451
参考文章:
1. 20张图带你到HBase的世界遨游【转】 - sunsky303 - 博客园
https://www.cnblogs.com/sunsky303/p/14312350.html
2. HBase原理-数据读取流程解析
http://HBasefly.com/2016/12/21/HBase-getorscan/?aixuds=6h5ds3
3. Hive、Spark SQL任务参数调优
https://www.jianshu.com/p/2964bf816efc
4. Spark On HBase的官方jar包编译与使用
https://juejin.cn/post/6844903961242124295
5. Apache HBase ™ Reference Guide
https://hbase.apache.org/book.html#_bulk_load
6. HBase and Spark-HBase中文参考指南 3.0
https://www.cntofu.com/book/173/docs/17.md
hive 到数据到hdfs hive数据导入hbase
https://blog.51cto.com/u_16099302/6697032
hbase.hregion.max.filesize(默认256MB)
set mapred.reduce.tasks=12;
SET hive.hbase.bulk=true;
# 传统方式
HLog->MemStore->Store->StoreFile->Hfile->load
# completebulkload
hfile->load
spark读取文件,生成hfile并批量导入hbase
https://blog.csdn.net/MyNameIsWangYi/article/details/115677510