Hbase
文章平均质量分 92
Hbase理论和开发实践
数据与后端架构提升之路
没人会把我们变的越来越好,时间也只是陪衬。支撑我们变的越来越好的是我们自己不断进阶的才华,修养,品行以及不断的反思和修正
展开
-
自定义HBase负载均衡器MyCustomBalancer实现步骤与代码解析
自定义HBase负载均衡器通过集成监控数据,动态调整Region分布,优化集群性能。原创 2024-01-09 11:52:51 · 1442 阅读 · 1 评论 -
基于Hbase的微博案例
需求1、 发布微博内容 a. 在微博内容表中 添加一条数据(发布者) b. 在微博内容接收邮件箱表对所有粉丝用户添加数据(订阅者) scan 'weibo:receive-content-email',{VERSIONS=>5}2、添加关注用户 a. 在微博用户关系表中 添加新的好友关注(attends) b. 从被关注用户角度来说, 新增粉丝用户(fans) c. 微博邮件箱表添加关注用户发布的微博内容3、移除或者取消关注...原创 2020-07-02 13:47:22 · 1420 阅读 · 0 评论 -
基于Hbase和SpringBoot的分布式HOS文件存储系统
本文详细剖析了HOS分层对象存储系统的内部结构,探讨了RowKey设计、seqId的巧妙应用以及表结构优化对于提升HBase性能和数据管理有效性的关键作用,揭秘如何在大数据环境中实现高效存取与管理。原创 2021-03-31 19:31:26 · 836 阅读 · 0 评论 -
构建HBase知识网络:深入理解LSM、MemTable与HFile的工作原理
Hbase是如何实现LSM的memtable的。或者说,hbase查询的时候如何在内存中命中kv的,和hfile有啥联系原创 2021-04-09 09:58:12 · 372 阅读 · 0 评论 -
Hbase之Spark通过BlukLoad的方式批量加载数据到HBase中
Hbase之Spark通过BlukLoad的方式批量加载数据到HBase中原创 2023-04-11 18:44:27 · 498 阅读 · 0 评论 -
Hbase的二级索引和RowKey的设计
Hbase查询简介Hbase查询的时候,有以下几种方式:• 通过 rowkey方式,指定 获取唯一记录• 通过 scan方式,设置satrtRow 和stopRow 参数进行范围匹配(模糊查询)• 全表扫描,即直接扫描整张表中所有行记录HBase里面只有rowkey作为一级索引Hbase的scan,不走主键索引,而是全表扫描,性能奇差。为了HBase的数据查询更高效、适应更多的场景, 诸如使用非rowkey字段检索也能做到秒级响应,或者支持各个字段进行模糊查询和多字段组合查询等,原创 2020-10-05 16:12:53 · 1932 阅读 · 0 评论 -
开机时监听Hadoop和Zookpeer启动之后再启动Hbase
Hbase的启动依赖于Hadoop和Zookpeer,必须保证先于它们启动才行。在本地调试每次都要重启三个软件非常麻烦。所以写个脚本hbaseStart.sh来解决这个问题#!/bin/sh#定义等号的两侧不能有空格hbaseStart=falsewhile [ true ]do QuoPM=`jps | grep "QuorumPeerMain"` ...原创 2018-10-23 10:39:57 · 559 阅读 · 0 评论 -
Hbase实践将所有info列簇下的name列导入到另一张表中
将所有info列簇下的name列导入到另一张表中建表:读取的表:create 'stu_info','info','degree','work'写入的表:create 't5',{NAME => 'info'}put 'stu_info','20170820_10001','degree:xueli','benke'put 'stu_info','20170820_10...原创 2018-11-06 22:45:10 · 1071 阅读 · 0 评论 -
Hbase原理介绍和使用场景分析
对Hbase的系统总结和学习原创 2019-02-15 13:09:30 · 1065 阅读 · 0 评论