![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
文章平均质量分 71
不写博客心刺挠
这个作者很懒,什么都没留下…
展开
-
HBase的协处理器
协处理器这个得对比hive比较HBase和hive比没有天生的分布式计算能力,可以理解hive节点都有"后门"可以进行分布式计算,本来HBase是没有的但是通过协处理器,他便有了一定的分布式计算功能,(他原先下的存储功能比hive好)协处理器有两种: observer 和 endpointobserver协处理器Observer 类似于传统数据库中的触发器,当发生某些事件的时候这类协处理器会被 Server 端调用。Observer Coprocessor 就是一些散布在 HBase Server原创 2021-11-22 19:40:26 · 1335 阅读 · 0 评论 -
HBase的读写流程
HBase的读流程客户端拿到一个RowKey(首先得知道这rowKey存在那个region中)根据zk查询获取hbase:meta表,这个表中存放了region的信息,根据namespace,表名,就可以根据rowkey的startkey,endkey返回region的信息还需要查询region是在哪个HRegionServer(因为我们是region会存在什么地方的)读取Store优先读取写缓存-读取BlockCache(LRUBlockCache、BucketBlockCache)再读原创 2021-11-22 15:26:33 · 573 阅读 · 0 评论 -
Phoneix中的二级索引知识点
二级索引分类Phoneix的索引底层还是表现为HBase中的表结构(每建一个索引就回增加一个表),这些索引表专门用来加速查询速度.你 用索引表加快查询读多写少:全局索引读少写多:本地索引索引可以理解成二叉树1,全局索引:二叉树里只有RowKey的地址值.针对整张表,在整个HBase集群中,都是有效的,索引数据会分布在全局2,覆盖索引:二叉树不光有Rowkey,而且把你要查的数据完整信息都放在里面了,占用空间更大,不像全局索只存放地址值将数据直接存放在索引中,直接查询索原创 2021-11-22 11:20:51 · 419 阅读 · 0 评论 -
HBase的布隆过滤器使用
过滤规则总的来说:可以根据Rowkey,列, 列值等进行过滤搭配比较运算符和比较器使用比较运算符比较器scan+Filter其实在hbase shell中,执行的ruby脚本,背后还是调用hbase提供的java API在HBase中有很多过滤器,语法格式看起来会比较复杂,要重点理解这个语法是什么意思过滤器在hbase shell中是使用一个表达式来描述,在java里面是new的各种对象scan "ORDER_INFO", {FILTER => "RowFilter(=,原创 2021-11-20 22:45:55 · 536 阅读 · 0 评论 -
HBase计数器和简单scan操作
计数器count"表名":hbase就会将这个表对应的所有数据扫描一遍,得到最终的记录条数(性能消耗大慎用 )执行HBase提供的基于MR的RowCount的程序,(用于做大数据的查询)启动yarn集群启动mr-historyserverscan扫描全表扫描:scan"表名"(慎用,效率很低)先定只显示多少条:scan"表名", {limit => 5}指定查询几个列: scan “表名” , {limit => 5 , columns => [ ]}根据ROW原创 2021-11-20 20:45:17 · 1009 阅读 · 0 评论 -
如何理解Hbase中大小Key,及简单实用Hbase
Hbase中大key是Rowkey,小key是colume(列簇)相当于maplist 列簇中列的数量相当于是无限定的也看到有人说大Key是Rowkey ,小key是 colume:list(即"列蔟:列名"),如有不同,评论区见♡其他大数据架构框架中及到大小key的NoSql数据库比如:Redis也是分大小key的列簇中的列想加多少就加多少这个特性让他非常适合做用户画像,可以参考b站黑马的用户画像项目企业级360度用户画像项目实际的用户画像项目的标签就是一条条加上HBase原创 2021-11-20 19:22:13 · 1199 阅读 · 0 评论