HBase
分享大数据学习相关内容,以及在工作中遇到的大数据问题
程序员X小鹿
前互联网大厂程序员/AIGC爱好者/自由职业2年+
展开
-
HBase(九)—— HBase优化
文章目录1. 预分区2. RowKey设计3. 内存优化4. 基础优化1. 预分区HBase默认建表时有一个Region,这个Region的RowKey是没有边界的,即没有startkey和endkey,在数据写入时,所有数据都会写入这个默认的Region,随着数据量的不断 增加,此Region已经不能承受不断增长的数据量,会进行split,分成2个Region。在此过程中,会产生两个问题:...原创 2020-03-11 14:58:45 · 314 阅读 · 0 评论 -
HBase(八)—— 配置HBase高可用
在HBase中,HMaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果HMaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对HMaster的高可用配置。HBase可以有多个Master,Zookeeper负责同一时间只有一个Master是激活的状态。(1) 关闭HBase集群(如果没有开启...原创 2020-03-10 22:21:31 · 342 阅读 · 0 评论 -
HBase(七)—— HBase集成Phoenix
文章目录1. Phoenix简介2. 安装配置(各个节点上都需要配置)3. 基本命令4. 映射表1. Phoenix简介可以把Phoenix理解为HBase的查询引擎,它相当于一个Java中间件,帮助开发者,像使用JDBC访问关系型数据库一样,访问NoSQL数据库HBase。Phoenix由saleforce.com开源的一个项目,后又捐给了Apache。Phoenix操作的表及数据,存储在H...原创 2020-03-10 22:11:51 · 363 阅读 · 0 评论 -
HBase(六)—— HBase集成Sqoop
Sqoop参数及描述参数描述--column-family <family>设置导入的目标列族。--hbase-create-table是否自动创建不存在的HBase表(这就意味着,不需要手动提前在HBase中先建立表)--hbase-row-key <col>mysql中哪一列的值作为HBase的rowkey,如果rowkey是个组...原创 2020-03-10 21:49:14 · 170 阅读 · 0 评论 -
HBase(五)—— HBase集成Hive
文章目录1. HBase与Hive对比2. HBase集成Hive3. HBase与Hive集成案例3.1 案例一3.2 案例二1. HBase与Hive对比HiveHBase特点类SQL 数据仓库NoSQL (Key-value)适用场景离线数据分析和清洗适合在线业务延迟延迟高延迟低存储位置存储在HDFS存储在HDFS2. HBa...原创 2020-03-10 21:29:01 · 111 阅读 · 0 评论 -
HBase(四)—— HBase基本操作
进入HBase客户端:# hbase shell基本操作:-- 帮助> help> help 'list'-- 查看当前数据库中有哪些表> list-- 查看当前数据库中有哪些命名空间>list_namespace-- 创建表> create 'student','cf1'> create 'student','cf1','kk'...原创 2020-03-10 18:31:35 · 155 阅读 · 0 评论 -
HBase(二)—— HBase节点的管理
文章目录服役(commissioning)退役(decommissioning)服役(commissioning)① 往集群中增加一个新的RegionServer节点;② 将退役的重新上线。当启动RegionServer时,RegionServer会向HMaster注册并开始接收本地数据,开始的时候,新加入的节点不会有任何数据,平衡器开启的情况下,将会有新的Region移动到开启的Regi...原创 2020-03-10 18:27:16 · 769 阅读 · 0 评论 -
HBase(一)—— HBase入门
文章目录1. HBase简介2. HBase的角色2.1 HMaster2.2 HRegionServer2.2.1 功能2.2.2 组件3. HBase架构4. HBase数据模型5. HBase读写流程1. HBase简介HBase是一个分布式的、面向列的开源数据库,它是一个适合于非结构化数据存储的数据库。大:上亿行、百万列。面向列:面向列(簇)的存储和权限控制,列(簇)独立检索。稀...原创 2020-03-10 18:20:39 · 355 阅读 · 0 评论