BigData - HBase
HBase相关
BF-LoneSilverWind
睿智 灵动 从容 淡定
展开
-
2.1 HBase简介
Hbase简介Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库主要用来存储非结构化和半结构化的松散数据(列存 NoSQL 数据库)------高可靠性管理节点支持高可用数据实际上存放在HDFS上------高性能百亿级别数据秒级查询------面向列过去数据库设计操作的时候都在考虑这一行应该怎么处理获取数据插入数据都是以列为...原创 2019-11-26 21:33:41 · 117 阅读 · 0 评论 -
2.2 HBase架构
Hbase架构HBase 架构示意图:Client (客户端) - 客户端,负责发送请求到数据库 - - 客户端连接的方式有很多种 ------ hbase shell ------ 类JDBC - - 发送的请求主要包括 ------ DDL ------ 数据库定义语言(表的建立,删除,添加删除列族,控制版本) ------ DML ...原创 2019-11-27 15:31:41 · 153 阅读 · 0 评论 -
2.3 HBase数据模型
HBase数据模型RowKey行键 - 是数据的唯一标识 --- 类似于关系型数据库的主键 - 默认由64K的数据组成,但是实际使用中按照用户的需求自由定义 - 分配空间的时候使用多少分配多少,但是rowkey设计的时候够用就行 ------ 后期专门将rowkey的设计策略 - 当我们插入数据的时候,HBase会按照Rowkey的字典序给我们排序 ------ HBase...原创 2019-11-26 22:05:11 · 181 阅读 · 0 评论 -
2.4 HBase环境配置
搭建HBase环境需要一个完备的hadoop集群环境配置hadoop环境链接地址 ------ 待补充安装解压hbase解压准备好的HBase压缩包tar -zxf hbase-0.98.12.1-hadoop2-bin.tar.gz移动hbase到软件安装目录mv hbase-0.98.12.1-hadoop2 /opt/sxt/修改hbase目录名称mv hbas...原创 2019-11-26 19:52:08 · 611 阅读 · 0 评论 -
2.5 HBase DDL&DML&DQL流程
公共流程当客户端访问一个表的时候,首先去询问ZookepperZookepper会告诉客户端-root-Region所在的RegionServer→ 通过root 找到 meta 所在ResionServer→ 通过meta 查找结果公共表 root它是一张普通的表,但是由HBase自己维护它的机构和meta一模一样,但是它只维护meta表的切分信息理论上-root-表不会被...原创 2019-11-27 16:46:51 · 200 阅读 · 0 评论 -
2.6 HBase优化
1. 表设计1.1 预分区 (… partition) 默认情况:建表时会自动创建一个region分区 数据都会写入region 直到足够大才切分 预分区:预先创建一些空的 resions 可以提高批量写入速度 减少初期单点压力 做到集群内负载均衡但是预分区的区域一定要良好规划,否则会导致即使预分区数据也只会写到一个分区1.2 rowkey ...原创 2019-12-01 20:52:47 · 181 阅读 · 0 评论