Hbase
文章平均质量分 77
☞空白页
这个作者很懒,什么都没留下…
展开
-
HBase性能优化方法总结
目录1. 表的设计1.1 Pre-Creating Regions1.2 Row Key1.3 Column Family1.4 In Memory1.5 Max Version1.6 Time To Live1.7 Compact & Split2. 写表操作2.1 多HTable并发写2.2 HTable参数设置2.2.1 Auto Flush2.2.2 Write Buffer2.2.3 WAL Flag2.3 批量写2.4.原创 2021-05-20 15:01:43 · 53 阅读 · 0 评论 -
Hive与Hbase数据表关联
一、简单介绍hive的元数据保存在metastore里面,真实的数据一般位于hdfs中,可以通过hql来对数据进行分析。hbase中的数据也是存放在hdfs上的,可不可以使用hive来分析hbase中的数据呢?二、hive表到hbase表的映射2.1hbase表t1的结构和其中的数据如下图2.2创建hive表映射到hbase的表首先输入下面的命令进入hive的客户端hive --auxpath /usr/local/hive-0.14.0/lib/hive-hbase-han原创 2021-05-20 09:58:11 · 272 阅读 · 0 评论 -
Hbase协处理器实践总结(hbase数据同步)
Hbase协处理器实践总结(hbase数据同步)使用背景使用hbase同步数据到es,每次hbase客户端发送put请求后,触发协处理器将数据同步到es。版本介绍 hbase版本:1.2.0 es版本:6.8.5 hadoop版本:2.6.0 话不多说,直接上代码。有关协处理器了解请参考底部官网连接和相关博客。pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="htt原创 2021-01-26 10:20:19 · 156 阅读 · 0 评论 -
一文读懂HBase(安装,架构原理,优化,API,es二级索引,phoenix)
1.HBase简介 HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。 HBASE是Google Bigtable的开源实现,但是也有很多不同之处。比如:Google Bigtable利用GFS作为其文件存储系统,HBASE利用Hadoop H...原创 2020-11-04 16:17:45 · 447 阅读 · 0 评论 -
通过Spark生成HFile,并以BulkLoad方式将数据导入到HBase
在实际生产环境中,将计算和存储进行分离,是我们提高集群吞吐量、确保集群规模水平可扩展的主要方法之一,并且通过集群的扩容、性能的优化,确保在数据大幅增长时,存储不能称为系统的瓶颈。具体到我们实际的项目需求中,有一个典型的场景,通常会将Hive中的部分数据,比如热数据,存入到HBase中,进行冷热分离处理。我们采用Spark读取Hive表数据存入HBase中,这里主要有两种方式: 通过HBase的put API进行数据的批量写入 通过生成HFile文件,然后通过BulkLoad方式将数据原创 2020-10-30 13:29:18 · 702 阅读 · 0 评论