hbase
健康平安的活着
再给我一次重生的机会,我将加倍珍惜,将java事业进行到底。
展开
-
HBASE的集群搭建
4.1描述Hbase集群依赖hdfs,安装hbase集群,确保有hadoop集群,hbase启动之前确保hadoop已经启动。启动顺序:zk------------hadoop(hdfs-yarn)------hbase关闭顺序:hbase-------hadoop(yarn-hdfs)--------zk!!!!安装hbase之前确保已经安装haoop和zk4.2 hbase集群规划4.3 上传tar包4.4 解压tar包[root@meboth-maste..原创 2020-05-23 20:03:47 · 3861 阅读 · 0 评论 -
Hbase 的弊端 按时间段范围查询(三)
假设:Rowkey设计为:rowkey=分区号(userId的最后一位+补充0,组成两位数)-注册时间的时间戳(13位)-u+userId(按千万量计算,加前缀u,共6位)现在要查询出时间段:1564647622838 到1564647622938 这个时间段的数据#方案一:采用过滤器 无法单纯通过这个时间段查询数据#方案二:设置startRow,endRowstart...原创 2019-08-02 10:52:53 · 7832 阅读 · 0 评论 -
hbase中预分区表中数据的查询(二)
在上一遍博文中介绍了创建创建预分区,并实现添加数据操作,本篇博文,介绍不同角度的查询1.按范围查询 /** * scan 设置时间范围查询 * @param hTable * @throws IOException */ private static void scanByRangeQuery(Table hTable,String ...原创 2019-08-01 19:27:41 · 1445 阅读 · 2 评论 -
Hbase-RowKey Filter详解
RowFilter是用来对rowkey进行过滤的,比较符如下:相关的过滤方法使用:提取rowkey以01结尾数据Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL,new RegexStringComparator(".*01$"));提取rowkey以包含201407的数据Filter filter = new ...原创 2019-08-01 18:52:47 · 2778 阅读 · 0 评论 -
hbase 的Rowkey设计方案
1.1hbase的概述HBase由于其存储和读写的高性能,在OLAP即时分析中越来越发挥重要的作用。作为Nosql数据库的一员,HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录),Rowkey设计的优劣直接影响读写性能。由于HBase是通过Rowkey查询的,一般Rowkey上都会存一些比较关键的检索信息,我们需要提前想好数据具体需要如何查询,根据查询方...原创 2019-08-05 19:14:31 · 4746 阅读 · 0 评论 -
hbase 存储乱码的问题--解决方案
最近在将一些数字型的数据转成字节后存储到hbase中,出现了乱码问题,如下: public byte[] nextId() { try { long partitionId = currentId % partition; return Bytes.add(Bytes.toBytes(partitionId), ...原创 2019-08-05 09:38:52 · 4158 阅读 · 0 评论 -
hbase 常用过滤器filter--------------------------有这篇文章就够了,舍我其谁!!!!
目录1.1过滤器的作用1.2rowkeyFilter1.3prefixfilter1.4firstKeyOnlyFilter1.5valueFilter1.7keyonlyFilter1.8randomRowFilter1.9inclusiveStopFilter1.10columnPrefixFilter1.11columnCou...原创 2019-07-23 17:15:33 · 525 阅读 · 1 评论 -
hbase的java api实现crud操作
1.1 解决无法找到winutils.exe的错误解决windows中运行报错,无法找到winutils.exe的错误。#1.将hadoop的tar包解压到f盘:#2找到和使用hadoop最接近的版本hadoop-common-xxx-bin的软件包#3.解压后将bin文件夹下的所有文件复制到第一步hadoop版本的bin目录下:建议重复的文件选择不覆盖#在...原创 2019-06-24 14:50:53 · 416 阅读 · 0 评论 -
Hbase :一 基础知识
1.1引言Hadoop的两大核心:分布式存储,有HDFS来完成,存储各种格式的庞大的数据;分布式计算,使用MapReduce来处理。Hadoop只能执行批量处理,并且只以顺序方式访问数据,这意味着即使最简单的搜索工作,必须搜索整个数据集。以随机方式访问存储的大量数据,hadoop就会表现的很吃力和苍白。怎么办呢?一种新的存储技术将解决此问题,它的名字叫habase;1.2 hb...原创 2016-06-21 10:31:43 · 581 阅读 · 0 评论 -
解决hbase的 count计数的问题
当进行hbase数据统计的时候,报错:org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: No registered coprocessor service found for name Aggregat...原创 2019-06-26 10:17:36 · 3615 阅读 · 0 评论