
hbase
文章平均质量分 84
大数据之hbase
赶路人儿
一个十年以上编程人员,擅长使用java、python、C++等语言,具有广告投放、个性化推荐引擎等超大规模系统开发经验。
展开
-
Hbase java客户端调优——Connections
本文将介绍以下java Hbase 客户端三个配置:不要使用单个Put,而是批量List如何控制每个 RegionServer 的 HBase 客户端连接数/Socket 数使用通用连接并共享池原创 2024-03-20 15:51:19 · 1413 阅读 · 0 评论 -
HBase Maven 工程模块梳理
HBase Maven 工程各个 Model 功能说明:github 地址:git://git.apache.org/hbase.git1、hbase-annotations从 Hadoop 中 copy 来的的代码注解(所有的类、接口都要用到)。包含两个注解:InterfaceAudience 和 InterfaceStability。2、hbase-assembly项目构建相关。没有代码,xml 文件和一个 license 相关的声明。3、hbase-checkstylech转载 2022-03-16 16:36:09 · 844 阅读 · 0 评论 -
hbase shell操作之scan+filter
创建表create 'test1', 'lf', 'sf'lf: column family of LONG values (binary value)-- sf: column family of STRING values导入数据put 'test1', 'user1|ts1', 'sf:c1', 'sku1'put 'test1', 'user1|ts2', 'sf:c1'转载 2017-06-27 20:23:42 · 9410 阅读 · 0 评论 -
hive与hbase关联表
hive创建 关联hbase表有2种形式:一、建立hive内表,指向hbase:(数据是存在hbase中的)通过下面的方式创建hive的内表,这种情况是hbase本来没有这张表,创建后会在hbase中同样创建一张表,将来数据也是存放在hbase中的;hdfs的hive表目录有hive文件夹,但是里面没有数据。create tablehive_hbase_test(id string,n原创 2017-04-09 13:01:43 · 12481 阅读 · 4 评论 -
Hbase 数据导出到本地文件中
scan "test_feed_incr",{TIMERANGE=>[1488384000000,1488425338000]}scan 'test_feed_incr',{TIMERANGE=>[1488384000000,1488425338000],COLUMNS=>'data:tag'}echo "scan 'test_feed_incr',{TIMERANGE=>[1488384转载 2017-03-02 11:46:42 · 5949 阅读 · 0 评论 -
How-to: resolve hbase "org.apache.hadoop.hbase.TableExistsException: hbase:namespace"
启动hbase时,在日志里发现如下错误:Error:2015-06-24 13:34:05,251 FATAL [master:60000.activeMasterManager] master.HMaster: Failed to become active masterorg.apache.hadoop.hbase.TableExistsException: hbase:namespa原创 2016-11-20 21:26:54 · 1411 阅读 · 0 评论 -
HBase概念学习(九)HTablePool为何弃用?
我们先看HConnection的getTable方法描述:Retrieve an HTableInterface implementation for access to a table. The returned HTableInterface is not thread safe, a new instance should be created for each using threa转载 2016-11-19 13:06:59 · 861 阅读 · 0 评论 -
Exception in thread "main" java.lang.IllegalArgumentException: Not a host:port pair: PBUF
使用java客户端连接hbase时,如果发现报了如下错:Exception in thread "main" java.lang.IllegalArgumentException: Not a host:port pair: PBUF原因是由于客户端hbase版本和服务器不一致造成,修改maven版本后,解决。原创 2016-11-13 18:07:05 · 2879 阅读 · 0 评论 -
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
今天突然启动hbase后,在命令行上执行list命令报错:ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing尝试使用如下方式解决:停止hbase、hadoop、zk集群;删除datanode节点中的临时文件,删除zk下dataDir中的version-2文件;重新格式化namenode原创 2016-11-13 01:53:46 · 37772 阅读 · 11 评论 -
LSM树在HBase中的应用
LSM树全称是基于日志结构的合并树(Log-Structured Merge-Tree)。No-SQL数据库一般采用LSM树作为数据结构,HBase也不例外。众所周知,RDBMS一般采用B+树作为索引的数据结构,如图1。RDBMS中的B+树一般是3层n路的平衡树。B+树的节点对应于磁盘数据块。因此对于RDBMS,数据更新操作需要5次磁盘操作(从B+树3次找到记录所在数据块,再加上一次读和一次写)。转载 2016-10-30 12:27:52 · 3310 阅读 · 0 评论 -
HBase的LSM树
讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来:哈希存储引擎 是哈希表的持久化实现,支持增、删、改以及随机读取操作,但不支持顺序扫描,对应的存储系统为key-value存储系统。对于key-value的插入以及查询,哈希表的复杂度都是O(1),明显比树的操作O(n)快,如果不需要有序的遍历数据,哈希表就是your Mr.RightB树存储引擎是B树(关于B转载 2016-10-30 12:09:27 · 566 阅读 · 0 评论 -
各hbase版本对hadoop各版本的支持情况
http://hbase.apache.org/book.html#configuration HadoopThe following table summarizes the versions of Hadoop supported with each version of HBase. Based on the version of HBase, you should se翻译 2016-10-29 23:56:09 · 866 阅读 · 0 评论 -
Hbase 统计表行数的3种方式总结
有些时候需要我们去统计某一个hbase表的行数,由于hbase本身不支持SQL语言,只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作:1、count命令最直接的方式是在hbase shell中执行count的命令可以统计行数。hbase> count ‘t1′ hbase> count ‘t1′, INTERVAL => 100000 hbase原创 2016-10-15 22:18:46 · 1982 阅读 · 0 评论