hbase
harderc111
精通是相对的,无知是绝对的,道阻且长
展开
-
hbase shell 根据rowKey范围批量删除
hbase shell 根据rowKey范围批量删除#!/bin/bashtablename=$1startrow=$2endrow=$3if [ $# -eq 0 ];thenecho "请输入表名,startRow,endRow"exit 0fiecho "scan '${tablename}',{STARTROW=>'${startrow}',ENDROW=>'${endrow}'}" |hbase shell|awk -F ' ' '{print $1'\t'}'>原创 2020-06-30 20:34:29 · 3107 阅读 · 1 评论 -
HBase最佳实践-写性能优化策略
地址:http://hbasefly.com/2016/12/10/hbase-parctice-write/上一篇文章主要介绍了HBase读性能优化的基本套路,本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比,HBase写数据流程倒是显得很简单:数据先顺序写入HLog,再写入对应的缓存Memstore,当Memstore中数据大小达到一定阈值(128M)之后,系统会异...转载 2018-05-18 14:12:08 · 197 阅读 · 0 评论 -
hbase数据查询及过滤器详细使用
地址:https://blog.csdn.net/m0_37739193/article/details/73615016本文介绍了在hbase中简单的数据查询及过滤器(比较全)的使用,代码和命令均经过本人实测通过,辛苦的将这些整理出来为以后方便查找创建并插入数据:[plain] view plain copyhbase(main):179:0> create 'scores','grade...转载 2018-04-26 11:17:26 · 9435 阅读 · 0 评论 -
HBase条件查询(多条件查询)
Author:Pirate LeomyBlog: http://blog.csdn.net/pirateleo/myEmail: codeevoship@gmail.com转载请注明出处,谢谢。文中可能涉及到的API:Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http://hbase.apache.org...转载 2018-04-23 22:33:04 · 696 阅读 · 0 评论 -
Hbase 行键设计(rowkey) 实现多条件查询
2018最新编辑本文写完的时间是2017年初写的,当时对HBASE的理解不深,随着一年多的学习,感觉这篇文章里的方法挺鸡肋的,在我近一年的工作中根本没有用到。 HBASE的使用跟业务逻辑有很强的关联性,就像本文里提到的例子使用ElasticSearch更合适。HBASE适合那种使用key-value模式的快速查询,多字段查询还是不适合它。 所以大家如果看本文的话,就全当是加深对hbase过滤器的理...转载 2018-04-23 22:32:30 · 2297 阅读 · 1 评论 -
HBase学习之六: hbase的预分区设计
背景 HBase默认建表时有一个region,这个region的rowkey是没有边界的,即没有startkey和endkey,在数据写入时,所有数据都会写入这个默认的region,随着数据量的不断 增加,此region已经不能承受不断增长的数据量,会进行split,分成2个region。在此过程中,会产生两个问题:1.数据往一个region上写,会有写热点问题。2.region spli...转载 2018-03-04 22:55:28 · 7079 阅读 · 0 评论 -
源码解读--(3)hbase-examples MultiThreadedClientExample
地址:http://aperise.iteye.com/blog/2372534源码解读--(1)hbase客户端源代码http://aperise.iteye.com/blog/2372350源码解读--(2)hbase-examples BufferedMutator Examplehttp://aperise.iteye.com/blog/2372505源码解读--(3)hbase-exam...转载 2018-03-17 16:53:48 · 431 阅读 · 0 评论 -
源码解读--(2)hbase-examples BufferedMutator Example
地址:http://aperise.iteye.com/blog/2372505源码解读--(1)hbase客户端源代码http://aperise.iteye.com/blog/2372350源码解读--(2)hbase-examples BufferedMutator Examplehttp://aperise.iteye.com/blog/2372505源码解读--(3)hbase-exam...转载 2018-03-17 16:51:36 · 1578 阅读 · 0 评论 -
解读--(1)hbase客户端源代码
地址:http://aperise.iteye.com/blog/2372350源码解读--(1)hbase客户端源代码http://aperise.iteye.com/blog/2372350源码解读--(2)hbase-examples BufferedMutator Examplehttp://aperise.iteye.com/blog/2372505源码解读--(3)hbase-exam...翻译 2018-03-17 16:48:40 · 2977 阅读 · 2 评论 -
HBase学习之五:HBase的RowKey设计原则
HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式:通过get方式,指定rowkey获取唯一一条记录通过scan方式,设置startRow和stopRow参数进行...转载 2018-03-04 21:38:59 · 237 阅读 · 0 评论 -
HBase学习之四: mapreduce处理数据后存储到hbase及错误java.lang.NoClassDefFoundError的解决办法
大神博客:http://blog.csdn.net/javajxz008/article/details/51854705转载 2018-03-04 01:08:46 · 354 阅读 · 0 评论 -
HBase学习之三: hbase filter(过滤器)和coprocessor(协处理器)统计行数的简单应用
1.关于filter的用法及说明参见这三篇博文,基本涵盖了绝大部分filter,很详细,还有实测代码,感谢博主的付出,特收藏.HBase Filter:http://blog.sina.com.cn/s/blog_7431c7c50101c5ig.htmlHBase(0.96以上版本)过滤器Filter详解及实例代码:http://blog.csdn.net/u010967382/article...转载 2018-03-04 01:07:07 · 573 阅读 · 0 评论 -
HBase学习之二: hbase分页查询
在hbase中可以使用scan做一些简单的查询,但是要实现多条件复杂查询还需要借助filter(过滤器)来完成,甚至还可以自定义filter实现个性化的需求,项目中需要分页查询,记录了其中的核心代码,以便于查阅。地址:http://blog.csdn.net/javajxz008/article/details/51833982...转载 2018-03-04 00:58:53 · 1224 阅读 · 0 评论 -
HBase学习之一: 创建hive和hbase关联表
背景:项目中需要使用HQL对源数据进行分析,分析的结果需要做近似于实时的查询,所以创建的表就需要在hive和hbase之间相关联,此为背景。drop table tbl_hive_test;create external table tbl_hive_test( id string, name string, age string)STORED BY 'org.apache.hadoo...转载 2018-03-04 00:50:19 · 1654 阅读 · 0 评论 -
hbase shell常用命令总结
输入help命令看所有命令及分组情况。1.当前用户 whoami2.看hbase服务器状态 status3.看hbase版本 version4.列出所有的表 list5.创建表,可使用create help命令看创建案列 create 't1','cl1','cl2','cl3'说明:表名t1,三个列族cl1,cl2,cl36.查看表详细信息 describe 't1'7.使表可用不可用。 ena...转载 2018-03-04 00:23:59 · 279 阅读 · 0 评论 -
HBase原理和设计
简介 HBase —— Hadoop Database的简称,Google BigTable的另一种开源实现方式,从问世之初,就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲,HBase不折不扣是一个数据库,与我们熟悉的Oracle、MySQL、MSSQL等一样,对外提供数据的存储和读取服务。而从应用的角度来说,HBase与一般的数据库又有所区别,H...转载 2018-03-04 00:22:25 · 161 阅读 · 0 评论