![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
小顽童王
阳光内敛...
展开
-
HBase简介
HBase:是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统,位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。 含义:HBase – Hadoop Database,是一个高可靠性、高性能、原创 2016-04-13 15:30:50 · 962 阅读 · 0 评论 -
HBase BloomFilter
实际上是一个很长的二进制向量和一系列随机映射函数。其可以用于检索一个元素是否在一个集合中。优点:空间效率和查询时间都远远的超过一般算法,缺点:有一定的误识别率和删除困难。类型:NONE:没有ROW:行键ROWCOL:行键+列使用布隆过滤器的根本原因:默认机制决定了一个存储文件是否包含特定的受限于可用块索引的行键,同时这个索引又是相当粗粒度的,该索引只原创 2017-02-13 10:36:22 · 577 阅读 · 0 评论 -
HBase Rowkey设计
Rowkey是不可分割的字节数,按字典排序由低到高存储在表中。在设计HBase表时,Rowkey设计是至关重要的,应该基于预期的访问模式来为Rowkey建模。Rowkey决定了访问HBase表时可以得到的性能,原因有两个:Region基于Rowkey为一个区间的行提供服务,并且负责区间的每一行;HFile在硬盘上存储有序的行。这两个因素是相互关联的。当region将内存中的数据原创 2017-02-13 10:37:18 · 420 阅读 · 0 评论 -
HBase Version
HBase中版本是按倒序排列的,因此当读取到这个文件时,最先找到的是最近的版本。含版本的操作:(1) Get/ScanGet实在Scan的基础上实现的。Get在默认情况下返回的是最近版本的cell,如果想要返回多个版本,可以通过该类的setMaxVersions(),或者setTimeRange()来制定版本(2)Put一个Put操作会为一个Cell创建一个原创 2017-02-13 10:38:03 · 2103 阅读 · 0 评论 -
HBase删除
Delete用于从表中删除数据。HTable除了提供删除方法delete()外,还有一个与之对应的类Delete,用户可以通过多种方法限定要删除的列。HBase的Delete操作可以指定删除某个列簇或某个列,或者指定某个时间戳,删除比这个时间早的数据。HBase的Delete操作并不是真正的从磁盘删除数据。而是通过创建墓碑标志进行处理。这些墓碑标记的值和小于该时间版本的单元原创 2017-02-13 10:38:40 · 4867 阅读 · 0 评论 -
HBase WAL机制
WAL预写日志客户端向Regionserver提交数据的时候,会优先写WAL日志(Hlog),只有当WAL日志写成功以后,客户端才会告诉提交数据成功,如果写WAL失败则会告诉写数据失败一个Regionserver上的所有Region共享一个HLog,一次数据的提交是先写WAL,在写metastore实现了WAL的类叫HLog,当Hregion被实例化时,HLog会被当作一个参数原创 2017-02-13 10:39:25 · 1155 阅读 · 0 评论 -
在线数据备份
hbase复制是一种在不同hbase部署中复制数据的一种方法,它可以作为一种故障恢复的方法,并提高hbase层次的高可用性hbase复制架构中最基本的是“主推送”因为每个regionserver都有自己的WAL,所以很容易保存现在正在复制的位置。一个主集群可以将数据复制到任意数目的从集群,每个regionserver都会参与复制自己的修改原创 2017-02-13 10:40:14 · 297 阅读 · 0 评论 -
二级索引
HBase二级索引hbase-solrsolr:solrcloud必须的软件:hbase、solr、zookeeper、hbase-solr https://github.com/NGDATA/hbase-indexer 安装hbase-solr,整合测试1、获取tar包,解压2、进入conf目录,修改hbase-indexer-site.xml配置文件,配原创 2017-02-13 10:50:59 · 2452 阅读 · 0 评论 -
集群数据迁移
静态迁移方案(必须在hbase集群停掉的情况下进行)hadoop distcp动态迁移方案三种:Replication备份方案修改hbase-site.xml配置,增加hbase.replication属性,增加表属性REPLICATION_SCOPE属性add_peerCopyTable方案命令:./hbase org.apache.hadoop.原创 2017-02-13 10:51:59 · 699 阅读 · 0 评论