![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
自由地带
踏踏实实的程序员
展开
-
Hbase总结01_架构与组件
简介HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,支持大型数据的存储和处理,可在廉价 PC 上搭建起大规模结构化存储集群。HBase 是 Google Bigtable 的开源实现,但是也有很多不同之处。比如:Google Bigtable利用 GFS 作为其文件存储系统,HBase 利用 Hadoop HDFS 作为其文件存储系统;Google运行 MAPREDUCE...原创 2019-08-10 15:28:29 · 277 阅读 · 0 评论 -
Hbase总结02_安装
运行模式单机模式Hbase默认的运行模式,Hbase使用本地存储模式,同时Hbase在启动时内部包含的zookeeper,建议在初学Hbase,熟悉API和Shell命令时使用,具体配置参下面的快速安装。分布式模式包含两种模式,伪分布式和完全分布式,差别在于前者将所有进程都运行在一个服务器上,后者在每个节点上只运行一个进程。伪分布式推荐在开发测试时使用。快速安装(单机模式)...原创 2019-08-10 18:30:56 · 382 阅读 · 0 评论 -
Hbase总结05_客户端高级特性
该部分总结的HBase权威指南过滤器用来减少查询结果的数量,在服务端进行过滤行为,减少和客户端的网络传送。实例化过滤器需要提供两个参数:比较运算符和比较器。比较运算符HBase内置的比较器比较过滤器行过滤器 行过滤器用于过滤行键(rowkey)列簇过滤器 过滤列簇列名过滤器 筛选特定的列值过滤器 对列的值进行...原创 2019-08-17 16:55:13 · 163 阅读 · 0 评论 -
Hbase总结03_数据管理
存储下图展示Hbase与Hadoop数据交互过程Hbase处理文件类型有两种:预写日志(Hlog)和实际的数据文件。写数据流程流程如图1)Client 向 HregionServer 发送写请求;2)HregionServer 将数据写到 HLog(write ahead log)。为了数据的持久化和恢复;3)HregionServer 将数据写到内存(MemSto...原创 2019-08-12 12:03:28 · 205 阅读 · 0 评论 -
Hbase总结04_客户端
管理功能(DDL)通信方式Hbase客户端大部分类都是有一个无参的构造函数,都是实现了Hadoop Writable接口,包含两个需要实现的方法:void write(DataOutput out) void readFields(Datainput in)框架通过调用write把对象序列化,便于在网络上传送,接收端创建无参实例,调用readFields将数据反序列化,并将相应字段...原创 2019-08-14 22:13:09 · 163 阅读 · 0 评论 -
Hbase总结05_行健设计
表结构Hbase的表有两种基本的键结构:行健(row key)和列键(column key)。列键:包括了列族名和限定符,定位到列的索引 行健:相当于关系型数据库中的主键,通过行健得到逻辑布局中一行的所有列每个行健在表中具有唯一性,可以用来查询正行数据,行健的值即代表着数据的位置,内容即索引的结构。表至少包含一个列簇,每个列簇中可以包含一到多个单元格,每个单元格对应一个键值对,可以...原创 2019-08-18 01:34:43 · 1501 阅读 · 0 评论