自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 HBase Filter 过滤器之RowFilter详解

前言:本文详细介绍了HBase RowFilter过滤器Java&Shell API的使用,并贴出了相关示例代码以供参考。RowFilter 基于行键进行过滤,在工作中涉及到需要通过HBase Rowkey进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文:HBase Filt...

2020-05-04 09:09:18 77 0

原创 如何在 HBase Shell 命令行正常查看十六进制编码的中文?哈哈~

今天比较开心,只想哈哈哈哈哈 啥也不多说了,直接看示例吧!绝对比我口才好~ hbase(main):050:0> scan 'test' ROW COLUMN+CELL row-1 ...

2020-04-27 21:26:45 133 0

原创 基于HBase构建千亿级文本数据相似度计算与快速去重系统

前言 随着大数据时代的到来,数据信息在给我们生活带来便利的同时,同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似度计算与快速去重系统的设计与实现。该方案在公司业务层面彻底解决了多主题...

2020-04-25 21:32:53 139 0

原创 HBase Filter 过滤器之 Comparator 原理及源码学习

前言:上篇文章HBase Filter 过滤器概述对HBase过滤器的组成及其家谱进行简单介绍,本篇文章主要对HBase过滤器之比较器作一个补充介绍,也算是HBase Filter学习的必备低阶魂技吧。本篇文中源码基于HBase 1.1.2.2.6.5.0-292 HDP版本。 HBase所有的...

2020-04-25 21:26:31 104 0

原创 HBase Filter 过滤器概述

abc 过滤器介绍 HBase过滤器是一套为完成一些较高级的需求所提供的API接口。 过滤器也被称为下推判断器(push-down predicates),支持把数据过滤标准从客户端下推到服务器,带有 Filter 条件的 RPC 查询请求会把 Filter 分发到各个 RegionServer,...

2020-04-23 22:09:31 98 0

原创 HBase BucketAllocatorException 异常剖析

近日,观察到HBase集群出现如下WARN日志: 2020-04-18 16:17:03,081 WARN [regionserver/xxx-BucketCacheWriter-1] bucket.BucketCache:Failed allocation for 604acc82edd34...

2020-04-22 22:02:06 50 0

原创 HBase-2.2.3源码编译-Windows版

源码环境一览 windows: 7 64Bit Java: 1.8.0_131 Maven:3.3.9 Git:2.24.0.windows.1 HBase:2.2.3 Hadoop:2.8.5下载安装 1. Maven|Git|Java下载安装 Maven、Git 、Java 请先自行下载安装并...

2020-04-17 22:23:52 115 0

原创 基于HBase构建千亿级文本数据相似度计算与快速去重系统

前言 随着大数据时代的到来,数据信息在给我们生活带来便利的同时,同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似度计算与快速去重系统的设计与实现。该方案在公司业务层面彻底解决了多主题...

2020-04-17 07:06:08 48 0

原创 HBase实操:HBase-Spark-Read-Demo 分享

前言:本文是一个关于Spark读取HBase的一个小demo,简单了解一下~ 相关代码: import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase._ import org.apache.hadoop.h...

2020-04-17 06:58:56 24 0

原创 HBase实操:Spark-Read-HBase-Snapshot-Demo 分享

前言:之前给大家分享了Spark通过接口直接读取HBase的一个小demo:HBase-Spark-Read-Demo,但如果在数据量非常大的情况下,Spark直接扫描HBase表必然会对HBase集群造成不小的压力。基于此,今天再给大家分享一下Spark通过Snapshot直接读取HBase H...

2020-04-17 06:54:47 16 0

原创 全方位认识HBase:一个值得拥有的NoSQL数据库(一)

前言:说起HBase这门技术,在认知上对于稍微接触或使用过它的人来讲,可能只是百千数据库中一个很普通的库,大概就像我对Redis的认知一样:缓存嘛!可对于HBase,我确实是带着某些感情在的。今日突然萌生了一个生趣的想法,想抛开技术的视角,从情感的角度,像写小说一样,写写这位老朋友,这可能会有点滑...

2020-04-17 06:54:13 14 0

原创 HBase Shell 十大花式玩儿法

前言:工欲善其事必先利其器,今天给大家介绍一下HBase Shell十大花式利器,在日常运维工作中,可以试着用起来。 1. 交互模式 也就是我们最常用到的Shell命令行的方式。 $ hbase shell hbase(main):001:0> list2. 非交互模式 $ echo &...

2020-04-16 21:29:25 120 0

原创 使用ElasticSearch赋能HBase二级索引 | 实践一年后总结

前言:还记得那是2018年的一个夏天,天气特别热,我一边擦汗一边听领导大刀阔斧的讲述自己未来的改革蓝图。会议开完了,核心思想就是:我们要搞一个数据大池子,要把公司能灌的数据都灌入这个大池子,然后让别人用 各种姿势 来捞这些数据。系统从开始打造到上线差不多花了半年多不到一年的时间,线上稳定运行也有一...

2020-04-10 09:36:02 163 0

原创 HBase协处理器加载的三种方式

本文主要给大家罗列了HBase协处理器加载的三种方式:Shell加载(动态)、Api加载(动态)、配置文件加载(静态)。其中静态加载方式需要重启HBase。 我们假设我们已经有一个现成的需要加载的协处理器Jar包:HelloCoprocessor-0.0.1.jar。 协处理器加载的三种方式 S...

2020-04-08 10:57:39 158 0

原创 读者来信 | 如何判断HBase Major Compact是否执行完毕?(已解决)

前言:之前有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为:《读者来信》。欢迎关注本人微信公众号《HBase工作笔记》,扫描文末二维码解锁更多姿势! 来信人:罗*铭 小猿提问 如何判断HBase Major Comp...

2020-04-08 10:52:27 170 0

原创 资料下载 | 58同城HBase平台及生态建设实践

前言:2020年3月7日晚7点,大佬张祥在微信群向大家详细介绍了58同城HBase平台及其生态的建设实践与相关经验,确实讲得很好。今天花了点时间帮大家整理了一下,希望更多的没有参与直播的朋友能够看到它,也欢迎大家积极转发一下,视频与PPT相关资料附于文末。 亮点在哪 该分享的亮点在哪儿里呢?这里...

2020-04-08 10:38:38 109 0

原创 HBase 监控 | HBase Metrics 初探(一)

前言:对于任意一个系统而言,做好监控都是非常重要的,HBase也不例外。经常,我们会从JMX中获取相关指标来做展示、对HBase进行监控,那这些指标是怎么生成的呢?如果你想自定义自己的监控指标又该怎么做呢?基于好奇之心和学习的目的,最近打算学习一下HBase监控相关原理及实现,今天先简单捋一捋思路...

2020-04-08 10:00:28 119 0

原创 HBase 监控 | HBase Metrics 初探(一)

前言:对于任意一个系统而言,做好监控都是非常重要的,HBase也不例外。经常,我们会从JMX中获取相关指标来做展示、对HBase进行监控,那这些指标是怎么生成的呢?如果你想自定义自己的监控指标又该怎么做呢?基于好奇之心和学习的目的,最近打算学习一下HBase监控相关原理及实现,今天先简单捋一捋思路...

2020-04-07 00:03:09 16 0

原创 读者来信 | 设置HBase TTL必须先disable表吗?(已解决)

今日有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为:《读者来信》。如遇到本人能力有限难以解决的问题,该贴将会被转发至我的资源圈寻求大佬们出手帮助,并附上提问者微信二维码。也欢迎大家在留言区积极探讨解决方案~ 来信人:...

2020-04-06 11:20:46 126 0

原创 读者来信 | 刚搭完HBase集群,Phoenix一启动,HBase就全崩了,是什么原因?(已解决)

前言:之前有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为:《读者来信》。如遇到本人能力有限难以解决的问题,我将转发该文至我的资源圈尽力寻求大佬们出手帮助,并附上提问者微信二维码,希望给大家提供这样一个互帮互助解决问题的...

2020-04-06 11:07:58 138 0

原创 读者来信 | 如果你家HBase集群Region太多请点进来看看,这个问题你可能会遇到

前言:《读者来信》是HBase老店开设的一个问答专栏,旨在能为更多的小伙伴解决工作中常遇到的HBase相关的问题。老店会尽力帮大家解决这些问题或帮你发出求救贴,老店希望这会是一个互帮互助的小平台。有问题请直接在老店后台留言,有好的解决方案也请不要吝啬,诚挚欢迎大家能在留言区积极探讨解决方案,大胆发...

2020-04-05 13:16:39 137 0

原创 HBase Shell Get 操作常用小技巧

在工作中,有时候只是想简单看下HBase表某些关键指标的值,这个时候总不能现写Java代码去查看,以下几个小技巧你可能会经常用到。 1. 某行有许多列,只想获取指定2~3列的数据 hbase> get 't1', 'r1', ['f:c1', ...

2020-04-05 11:28:34 136 0

提示
确定要删除当前文章?
取消 删除