![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
a2615381
这个作者很懒,什么都没留下…
展开
-
Hbase新手技术入门
HBase是什么?HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:为什么采用HBase?HBase 不同于一般的关系数据库,它是一个适合原创 2016-05-04 15:41:18 · 4721 阅读 · 0 评论 -
hbase Doing distributed log split in 问题
有时候重启 hbase会发现大片绿色画面。虽然以前偶尔遇到过 但是没注意 这次特意观察了一下, 后来发现时 wal数据恢复机制Log Split(日志拆分)HBase为了提高写的性能,将数据的修改先放到memstore内存中,这样做的缺陷是当某个region server崩溃时,其memstore中的所有修改将会丢失,因为它们还没有被刷写到磁盘上。为了防止这情况造成的数据丢原创 2017-09-26 11:45:51 · 1164 阅读 · 0 评论 -
Hbase分页查询代码实现
全部写在一起了, 后期可以分离优化一下 各个方法package com.ruif.hbase.dao;import java.io.IOException;import java.util.LinkedHashMap;import java.util.LinkedList;import java.util.List;import java.util.Map;import org原创 2016-09-05 18:14:49 · 6918 阅读 · 3 评论 -
Hbase 的 htablepool的小记录
都说使用 池可以 提高效率, 提前new好的 private static HTablePool hTablePool;早起代码是这样的HTableInterface[] tables = new HTableInterface[10]; for (int i = 0; i < 10; i++) { tables[i] = hTablePool.getTable(Byte原创 2016-08-30 14:57:40 · 427 阅读 · 0 评论 -
Hbase 提高写入效率之 预分区
背景:HBase默认建表时有一个region,这个region的rowkey是没有边界的,即没有startkey和endkey,在数据写入时,所有数据都会写入这个默认的region,随着数据量的不断 增加,此region已经不能承受不断增长的数据量,会进行split,分成2个region。在此过程中,会产生两个问题:1.数据往一个region上写,会有写热点问题。2.region split会消原创 2016-08-11 21:20:30 · 6623 阅读 · 0 评论 -
Hbase 过滤器以及比较器案例
hbase过滤查询, 感觉还是很有用的。 几率一下案例, 备用 比较器运算符 左边是代码名称,右边是 含义 CompareOp.EQUAL; = CompareOp.LESS ; CompareOp.LESS_OR_EQUAL; CompareOp.NOT_EQUAL ;!原创 2016-08-10 17:51:27 · 869 阅读 · 0 评论 -
hbase协处理器coprocessor 统计行数量 案例
用来统计行数,但是感觉并不是很好用, 数据量大了以后比较卡,也许是我的电脑不给力吧import java.io.IOException;import java.text.DecimalFormat;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;im原创 2016-08-10 17:40:26 · 2022 阅读 · 0 评论 -
Hbase的协处理器
1.起因(Why HBase Coprocessor)HBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(统计数据表的总行数,需要使用Counter方法,执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce,能够有效用于数据表的分布式计算。然而在很多情况下,做一些简单原创 2016-05-09 15:51:48 · 3513 阅读 · 0 评论 -
Hbase入门API操作和 shell操作
package cn.itcast.bigdata.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDesc原创 2016-04-25 15:27:03 · 1335 阅读 · 0 评论 -
hbase 导入导出/数据迁移
公司遇到一个情况。从集群A吧hbase数据拷贝到 集群B 其中A和B无法通信, 只能通过工作机器 单连。使用的方式是 在A集群 的 hdfs上吧数据拷贝下来数据导出导入hadoop fs -get src hdfs/file //获得集群A地址中 hdfs上 hbase表的位置hadoop fs -put src hdfs/file //吧表数据提交到集群B原创 2017-09-27 15:26:44 · 4427 阅读 · 1 评论