![](https://img-blog.csdnimg.cn/101be753ba8a4d5eb3776c7df5bc668a.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
HBase
文章平均质量分 71
HBase相关知识点汇总
MelodyYN
实践
展开
-
HBase是什么
文章目录HBase是什么1、非关系型数据库与关系型数据库的对比2、HBase逻辑存储结构3、HBase物理存储结构4、数据模型5、HBase基本架构HBase是什么HBase(Hadoop DataBase)是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。分布式:通过zookeeper进行管理,提供高可用;可扩展:HBase基于HDFS,因此继承了HDFS的可扩展性;支持海量存储:这也是(HDFS)可扩展性带来的;1、非关系型数据库与关系型数据库的对比Mysql是典型的关系型数据原创 2022-01-04 19:39:27 · 785 阅读 · 0 评论 -
HBase的安装部署
HBase安装部署前提:Hadoop和Zookeeper正常安装部署1、解压安装包至指定路径tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/modulemv hbase-2.0.5-bin hbase-2.0.52、环境变量/etc/profile.d/my_env.sh#HBASE_HOMEexport HBASE_HOME=/opt/module/hbase-2.0.5export PATH=$PATH:$HBASE_HOME/bin3、配置文原创 2022-01-04 19:57:36 · 400 阅读 · 3 评论 -
HBase Shell
文章目录HBase Shell1、库的DDL1.0 查库1.1 创库1.2 改库1.3 删库2、表的DDL1.0查表1.1增表1.2改表1.3删表3、DML3.0查3.1增3.2删HBase Shell遇到不懂的命令直接help “命令”1、库的DDL1.0 查库list_namespace--查库中包含的表list_namespace_tables--描述库describe_namespace 'ns1'1.1 创库create_namespace 'ns1'create_n原创 2022-01-06 10:38:40 · 731 阅读 · 0 评论 -
RegionServer架构以及HBase读写流程、MemStore Flush时机
文章目录RegionServer架构写流程读流程MemStore Flush时机1、MemStore级别2、Region级别:当写入速度大于flush速度时(写高峰),可能达到这个值3、RegionServer级别4、Hlog级别5、定期刷写6、手动刷写RegionServer架构写流程Client先访问zookeeper,获取hbase:meta表位于哪个Region Server。访问对应的Region Server,获取hbase:meta表,根据写请求的namespace:table/原创 2022-01-06 15:57:58 · 764 阅读 · 0 评论 -
HBase中StoreFile合并和Region切分
HBase中StoreFile合并和Region切分StoreFile Compaction目的:合并小文件清理过期和删除的数据 由于memstore每次刷写都会生成一个新的HFile,且同一个字段的不同版本(timestamp)和不同类型(Put/Delete)有可能会分布在不同的HFile中,因此查询时需要遍历所有的HFile。为了减少HFile的个数,以及清理掉过期和删除的数据,会进行StoreFile Compaction。 Compaction分为两种,分别是Minor C原创 2022-01-06 16:16:44 · 301 阅读 · 0 评论 -
HBase API
HBase APImaven依赖<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.0.5</version> <exclusions>原创 2022-01-06 16:38:23 · 448 阅读 · 0 评论 -
HBase优化(预分区、RowKey设计)
文章目录HBase优化1、预分区1.1 手动设定预分区1.2 生成十六进制序列预分区1.3 按照文件设置规则预分区1.4 使用JavaAPI创建预分区(不常用)2、RowKey的设计案例优化:设计一个同时满足以上两个需求的RowKey预分区优化提前将分区号和月份进行对应优化需求23、内存优化4、hbase-site.xml基础优化HBase优化1、预分区每一个region维护着startRowKey与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个regi原创 2022-01-06 20:15:24 · 877 阅读 · 0 评论 -
Phoenix简介和安装
文章目录Phoenix简介及安装1、Phoenix简介2、安装3、Phoenix Shell命令4、表的映射测试存在的一些问题Phoenix简介及安装1、Phoenix简介定义:通过Phoenix可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据。特点:容易集成:如Spark,Hive,Pig,Flume和Map Reduce操作简单:DML命令以及通过DDL命令创建和操作表和版本化增量更改支持HBase二级索引创建2、安装解压安装包至指定原创 2022-01-06 20:41:46 · 1816 阅读 · 0 评论 -
Phoenix JDBC API
文章目录Phoenix JDBC1、胖客户端2、瘦客户端Phoenix JDBC1、胖客户端maven依赖<dependencies> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>5.0.0-HBase-2.原创 2022-01-06 20:43:38 · 433 阅读 · 0 评论 -
Phoenix二级索引
文章目录Phoenix二级索引1、基础配置2、全局索引(Global index)准备存在的不足3、包含索引4、本地索引Phoenix二级索引1、基础配置二级索引配置文件hbase-site.xml<!-- phoenix regionserver 配置参数--> <property> <name>hbase.regionserver.wal.codec</name> <value>org.ap原创 2022-01-06 20:47:34 · 535 阅读 · 0 评论 -
HBase与Hive的集成
文章目录HBase与Hive的集成1、HBase与Hive的对比2、HBase与Hive集成使用案例一:(不常见,为案例二做准备)案例二:HBase中已经存储了某一张表,在Hive中创建一个外部表来关联HBase中的这张表HBase与Hive的集成1、HBase与Hive的对比Hive数据仓库:Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。用于数据分析、清洗:Hive适用于离线的数据分析和清洗,延迟较高。基于HDFS、MapR原创 2022-01-06 20:49:27 · 1588 阅读 · 5 评论