HBASE
文章平均质量分 56
hankl1990
show me the code
展开
-
Spark 生成hfile然后使用bulk load 方式导入到HBase
需求背景:公司的spark集群和hbase集群是两个互不相通的集群,所以我们的方式就是先用spark 生成hfile 然后再通过distcp 的方式把数据cp到HBase所在的集群,然后再通过bulk的方式把数据导入到HBase中关键性的疑问点:Q1:我生成的hfile如何和表里的各种设置想对应呢?比如说:我的table 设置了 bf 设置了snappy 压缩算法,等等,这些在我们生成hfile的时候是应该都要完成的操作。这些东西我们是如何指定的呢?关键角色登场:HFileOutpu原创 2021-05-23 10:00:28 · 710 阅读 · 1 评论 -
Hbase 详细介绍
转自:http://blog.csdn.net/u010270403/article/details/51648462 本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构,HBase调优、HBase Shell访问等。不过在此之前,你可以先了解 Hadoop生态系统...转载 2018-02-28 10:40:23 · 689 阅读 · 0 评论