大数据-Hbase
文章平均质量分 84
两榜进士
if you are not inside,you are outside.
展开
-
Hbase完全分布式安装-连接hadoop2 namenode高可用
HostName IP Hadoop HBase Zookeeper Hive node0 192.168.24.159 NameNode HMaster QuorumPeerMain Hive node1 192.168.24.203 NameNode HMaster / Hive-client node2 192.168.原创 2016-11-16 11:14:35 · 1432 阅读 · 0 评论 -
HBase性能优化方法总结
目录(?)[-] 1 表的设计 11 Pre-Creating Regions12 Row Key13 Column Family14 In Memory15 Max Version16 Time To Live17 Compact Split 2 写表操作 21 多HTable并发写22 HTable参数设置 221 Auto Flush222 Write Buffer转载 2016-11-18 16:22:18 · 11698 阅读 · 0 评论 -
hbase的rowkey的字典排序(三维有序)
hbase所谓的三维有序存储的三维是指:rowkey(行主键),column key(columnFamily+qualifier),timestamp(时间戳)三部分组成的三维有序存储。 1.rowkey,我们知道rowkey是行的主键,而且hbase只能用个rowkey,或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的,关系到你应用层的查询效率。我们知道转载 2016-12-21 16:03:34 · 4574 阅读 · 2 评论 -
HBase RowKey设计
1 概述 HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。 既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,最大长度为64KB,内容可以由使用的用户自定义。数据加载时,一般也是根据Rowke转载 2016-12-28 10:20:48 · 1776 阅读 · 0 评论 -
HBase 常用Shell命令
留一个备查~ 进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami转载 2017-01-05 15:11:18 · 431 阅读 · 0 评论 -
Hbase性能调优
1、zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管. 调优: 这个t原创 2017-01-20 16:03:47 · 783 阅读 · 0 评论