Hbase
从0到1哦
喜欢大数据行业,热爱技术,时刻追随着大数据的发展
展开
-
Phoenix 映射已存在 HBase 表,查询不到数据
问题描述:phoenix 映射已存在的 hbase 表 demo 时,表映射正常,但是使用 phoenix 查询时,一直查询不到数据。1、hbase shell 插入数据create 'test1','i'put 'test1','1','i:name','zhangsan'put 'test1','2','i:name','lisi'put 'test1','1','i:age','...原创 2020-03-16 20:49:40 · 2758 阅读 · 1 评论 -
Phoenix报错:Inconsistent namespace mapping properties,Cannot initiate connection as SYSTEM:CATALOG
Spark API读取Phoenix数据报错:nconsistent namespace mapping properties. Cannot initiate connection as SYSTEM:CATALOG is found but client does not have在hbase shell修改如下解决:1)disable 'SYSTEM:CATALOG'2)snap...原创 2020-03-10 10:24:32 · 2647 阅读 · 5 评论 -
CDH6.0整合apache phoenix
一、安装整合phoenix没有与CDH高版本(cdh6.x)的整合,这里phoenix为apache原生版本组件:CDH6.0、Hbase2.0、Phoenix5.0相关文档:https://blog.csdn.net/zimiao552147572/article/details/87286352二、Spark+Phoenix连接读写测试1、本地环境依赖:<dependen...原创 2019-12-13 17:59:17 · 1367 阅读 · 0 评论 -
报错:io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric
运行异常:Exception in thread “main” java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;at org.apache.spark.network.util.NettyMemory...原创 2019-03-14 13:55:39 · 3871 阅读 · 1 评论 -
HBase之过滤器
filter ==> SQL 中的Wherefilter的执行流程:过滤器在客户端创建,然后通过RPC发送到服务器上,由服务器执行RowFilter 行键过滤器:import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apac...原创 2019-02-21 20:32:31 · 514 阅读 · 3 评论 -
spark向hbase中读写数据
最近项目中用频繁使用spark从hbase中读数据和向hbase中写数据,下面总结了一些简单demo, 在此基础上可以通过hbaseAPI进行各种复杂查询与写操作 希望能帮助到你向Hbase中写数据方案一:package utilsimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase...原创 2019-01-02 21:54:48 · 3034 阅读 · 4 评论 -
日志系统之HBase日志存储设计优化
简介我们首先来总结一下日志这种数据的业务特点:它几乎没有更新的需求,一个组件或一个系统通常有一个固定的日志格式,但就多个组件或系统而言它会存在各种五花八门的自定义的tag,这些tag建立的目的通常是为了后期查询/排查线上问题的需要,因此日志的检索字段也灵活多变。我们的日志存储选择是HBase,这主要是因为我们认为HBase的如下特点非常适合日志数据:(1)HBase的qualifier相当灵...原创 2018-12-11 22:32:54 · 1134 阅读 · 0 评论 -
Hbase与hive整合
我们来参照hive的官方文档来进行Hbase与hive的整合,在这之前呢,需要将HBase与Hive之间依赖的jar包相互导入建立依赖关系,具体请参见https://blog.csdn.net/Lu_Xiao_Yue/article/details/84949427下面来详细介绍Hbase与Hive的整合按照官方指导 我们先在hive中创建hive表并且关联HBase表建表语句如下CRE...原创 2018-12-15 21:50:05 · 608 阅读 · 0 评论 -
布隆过滤器在HBase中的应用
在讨论布隆过滤器在HBase中的应用之前,先介绍一下HBase的块索引机制。块索引是HBase固有的一个特性,因为HBase的底层数据是存储在HFile中的,而每个HFile中存储的是有序的<key, value>键值对,HFile文件内部由连续的块组成[1],每个块中存储的第一行数据的行键组成了这个文件的块索引,这些块索引信息存储在文件尾部。当HBase打开一个HFile时,块索引...原创 2018-12-03 17:46:11 · 1714 阅读 · 0 评论 -
HBase BlockCache机制讲解&源码分析
HBase上RegionServer的cache主要分为两个部分,分别是memstore&amp;blockcache,其中memstore主要用于写缓存,而blockcache用于读缓存。当数据写入hbase时,会先写入memstore,RegionServer会给每个region提供一个memstore,memstore中的数据达到系统设置的水位值后,会触发flush将memstore中的数...转载 2018-12-03 17:13:51 · 207 阅读 · 0 评论 -
Hbase中RowKey设计
一条数据的唯一标识就是 rowkey,那么这条数据存储于哪个分区,取决于 rowkey 处于哪个一个预分区的区间内,设计 rowkey 的主要目的 ,就是让数据均匀的分布于所有的 region 中,在一定程度上防止数据倾斜。接下来我们就谈一谈 rowkey 常用的设计方案。1、生成随机数、hash、散列值比如:原本 rowKey 为 1001 的,SHA1 后变成:dd01903921ea2...原创 2018-12-04 22:57:02 · 264 阅读 · 0 评论