在hbase shell中增加自定义命令

最新推荐文章于 2022-10-13 15:34:35 发布
最新推荐文章于 2022-10-13 15:34:35 发布
阅读量163 收藏
点赞数
文章标签： 大数据 shell ruby
原文链接：https://my.oschina.net/u/914897/blog/1589280
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

在hbase的日常运维工作中，经常要用到hbase shell客户端，这个客户端提供了常用的命令让运维和开发人员可以方便的管理hbase，但有时这些常用的命令无法满足运维要求时就需要增加自己的运维命令了，比如hbase shell自带的count命令非常慢，特别是数据量大的时候，我们希望增加一个自定义的命令使用hbase的协处理器来统计表的记录数。

在hbase shell中增加自定义命令实际上不复杂，以上面的例子为例，我们来增加一个自定义的命令，命令名称叫fast_count。

1. 在hbase客户端目录下的lib/ruby/shell/commands目录下增加一个叫fast_count.rb的文件，这个文件是实现主要逻揖的地方，格式如下：

160529_6Wyg_914897.png

160603_T5PW_914897.png

2. 在lib/ruby/shell.rb文件中增加这个自定义的命令，我们是要在dml这个组中增加，所以代码需要加在相应的地方，如图：

160759_sVVD_914897.png

3. 由于我们的方法是增加在table这个类上的，这样可以充分利用到原有的代码，那我们在lib/ruby/hbase/table.rb文件中增加对应的实现fast_count的方法，如图：

161008_ZWFB_914897.png

4. 最后，因为我们的这个方法需要用到hbase的connection实例，而这个实例在原有的table类中是没有的，只能在lib/ruby/hbase/hbase.rb中传进来，所以需要修改到lib/ruby/hbase/table.rb和lib/ruby/hbase/hbase.rb两处的代码，如下：

161048_3xKv_914897.png

 

转载于:https://my.oschina.net/u/914897/blog/1589280

weixin_34116110
关注
HBase shell命令知识总结(一)
xiaohu21的博客
08-29 1396
HBase shell命令知识总结 1. HBase访问方式 shell命令行客户端 java api 本文主要总结关于shell命令行的知识点 不知道如何安装Hbase的可以看我另外一篇博文 HBase安装 PS： 可以横向对比，很多框架特别是运行在服务器端的，都会提供至少2种客户端，命令行客户端和代码api，部分如mysql还会有图形化客户端。 针对数据库框架的操作，主要就是查看、DML、DDL、如果比较强大还会有权限、数据备份等操作功能。 2. HBase的Shell概览 开启客户端 PS：
2.HBase shell命令大全
weixin_43799054的博客
03-30 1510
通用 status 查看集群状态，有三种可选的参数simple、summary、detailed。 默认为summary。 格式： status status ‘simple’ status ‘summary’ status ‘detailed’ version 查看当前HBase版本。 格式： version whoami 查看当前用户。 格式： whoami table_he...
【HBase】自定义 HBase-MapReduce1
克里斯的博客
01-12 727
目标 将 fruit 表中的一部分数据，通过 MR 迁入到 fruit_mr 表中。 分步实现 1．构建 FruitMapper 类，用于读取 fruit 表中的数据 package com.chris.hbase.mr1; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.i
自定义 HBase-MapReduce
qq_51138261的博客
07-20 320
自定义 HBase-MapReduce1 hdfs -> table1) mapper2) reducer3) driver4) 打包上传并执行2 table -> table1) mapper2) reducer3) driver 1 hdfs -> table 需求: 从hdfs读取数据,插入到hbase的表中 1) mapper public class FruitMapper extends Mapper<LongWritable, Text,LongWritable, Te
taiga代码研究--base ---command自定义命令基类
03-28 142
邮件命令 import datetime from django.apps import apps from django.contrib.auth import get_user_model from django.core.management.base import BaseCommand from django.utils import timezone ...
浅谈HBASE典型函数内部原理
weixin_42248302的博客
05-29 643
                                      深入理解HBASEHBase无法轻易建立“二级索引”，难以执行求和、计数、排序等操作这一特性一直被大家诟病，也确有许多不便，于是，HBase在0.92之后引入了协处理器(coprocessors)，实现一些激动人心的新特性：能够轻易建立二次索引、复杂过滤器以及访问控制等。 协处理器即相当于基于 ReginServer-Ma...
HBASE 常用shell命令，增删改查
csdn问鼎
04-09 2万+
首先给出本次操作的数据 create 'student','info','address' put 'student','1','info:age','20' put 'student','1','info:name','wang' put 'student','1','info:class','1' put 'student','1','address:city','zhengzhou' put
Hbase shell常用命令.docx
10-25
在HBase这个分布式列式数据库中，Shell是一个用于与HBase交互的命令行工具，它提供了丰富的命令来执行各种操作。以下是对HBase Shell中一些常用命令的详细说明： 1. **创建表**： `create '表名称', '列族名称 1',...
hbase基本概念和hbase shell常用命令用法
04-08
2. **行键（Row Key）**：HBase中的数据是通过行键来唯一标识的，行键是字节数组，用户自定义，决定了数据的存储位置和访问方式。 3. **列（Column）**：列由列族和列限定符（Qualifier）组成，例如`cf:qualifier`...
hbase_shell操作命令
07-24
在HBase中，HBase Shell是一个交互式的命令行工具，用于管理和操作HBase数据库。它提供了多种命令，帮助用户执行常见的数据库操作，如创建、读取、更新和删除数据。以下是一些重要的HBase Shell操作命令及其详细说明...
hbase常用shell命令
h952520296的博客
10-13 1113
【代码】HBase常用知识。
HBase Shell命令大全
热门推荐
人不风流枉少年
03-18 14万+
HBase关键名称： Row Key 列族 column family 单元 Cell 时间戳 timestamp HBase Shell 是官方提供的一组命令，用于操作HBase。如果配置了HBase的环境变量了，就可以知己在命令行中输入hbase shell 命令进入命令行。 hbase shell help命令 可以通过 help '命名名称'来查看命令行的具体使用 查询服务器状态st...
HBase Increment（计数器）简介及性能测试
weixin_33705053的博客
10-29 745
2019独角兽企业重金招聘Python工程师标准>>> ...
hbase过滤器自定义
weixin_42660202的博客
07-12 2478
1. 下载protobuf-2.5.0解压,如果是window下,额外下载protoc-2.5.0-win32,解压,将protoc.exe放在protobuf-2.5.0下的src目录下 2. 配置环境变量,添加path路径指向protobuf目录的src中 3. 查看当前版本,在命令提示符中输入命令 4. 创建一个空白的文本文件 命名为 CustomNumberCompara...
phoenix学习第三节 User-defined functions(UDFs) 自定义函数
浏阳河
07-06 2063
User-defined functions(UDFs)自定义函数U 概要用户可以创建临时/永久的函数。UDF可以与查询中的内置函数一样使用，例如select，upsert，delete，create functions index。临时函数在特定的回话和连接中生效，但是不能在其他的回话和连接中使用。永久函数的元信息将保存在SYSTEM.FUNCION的系统表中。支持租户特定函数，在特定的租户的连...
Apache Phoenix自定义函数（UDF）实践
gucapg的专栏
01-07 3226
Apache Phoenix自定义函数，文章包含代码、配置、以及自己遇到的一些坑分享三大部分。 环境：JDK1.8、CDH5.14.4。 开发语言：java 官网链接：http://phoenix.apache.org/udf.html 自定义函数功能描述：根据一个日期，返回所属季度 一. 代码 1. 创建maven J2SE工程，配置pom文件 &amp;amp;amp;lt;properties&amp;amp;amp;gt; ...
Hbase shell命令使用 get，scan，时间戳，过滤器，版本等参数详细使用说明
小哇
09-08 1万+
备注:COLUMN 和 COLUMNS 是不同的,scan 操作中的 COLUMNS 指定的是表的列族, get操作中的 COLUMN 指定的是特定的列,COLUMNS 的值实质上为“列族:列修饰符”。COLUMN 和 COLUMNS 必须为大写。 get相关的操作 查看 scores 表中的 Jim 行的相关数据。 get 'scores','Jim' 获取rowKey=Jim并且 1552819392398 <= 时间戳范围 < 1552819398244 get 'sco
自定义Shell实现
Zfming@ustc的博客
05-04 1299
设计自定义Shell程序
HBase shell执行脚本（批量添加数据）
archer的技术故事
11-21 2万+
HBase shell执行脚本（批量添加数据） 上一篇文章中(http://blog.csdn.net/wild46cat/article/details/53214159)写了一些如何在HBase 的shell中单条添加数据。现在介绍一种通过shell脚本方式批量进行Hbase shell操作的方法。 本文主要参考，官方文档：http://hbase.apache.org/book.
Hbase shell中scan的9种语法
最新发布
10-18
HBase Shell中的`scan`命令用于从HBase表中获取数据，它支持多种语法，以便于进行复杂的数据查询。以下是`scan`命令常见的九种语法： 1. **基本语法**： ```shell scan 'table_name' ``` 这会扫描指定表的所有行。 2. **限制列族**： ```shell scan 'table_name' column_family:qualifier ``` 只扫描指定列族和列限定符的数据。 3. **起始和结束键**： ```shell scan 'table_name' start_key=’start_key’ stop_key=’stop_key’ ``` 指定扫描范围，从'start_key'开始到'stop_key'为止。 4. **时间戳**： ```shell scan 'table_name' timestamp=timestamp_value ``` 指定返回特定版本的时间戳。 5. **过滤条件（Filtering）**： ```shell scan 'table_name' filter=your_filter_class ``` 使用自定义的HBase Filter对象对结果进行筛选。 6. **行锁定（Row Locking）**： ```shell scan 'table_name' lock=true ``` 扫描过程中对行进行锁定，防止其他事务修改。 7. **批量大小（Batch Size）**： ```shell scan 'table_name' batch_size=batch_size_value ``` 控制每次返回的行数。 8. **迭代器（Iterator）**： ```shell scan 'table_name' with iterator class=iterative_class ``` 配置特定的迭代器处理扫描结果。 9. **排序（Sorting）**： ```shell scan 'table_name' sort_columns=[qualifier1, qualifier2] ``` 指定按哪些列对结果进行排序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值