![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
java的一天
http://bbs.csdn.net/user/resource_point_transfer
展开
-
Hbase性能优化之配置
减少zk超时时间(建议1分钟)Rs与zk的timeout默认为3分钟,由zookeeper.session.timeout property决定。也就是说,如果一个rs挂了,那么master需要3分钟之后才能对其进行重启和恢复。建议调成1分钟会更低。然而,你调低之前应该先确保JVM的配置合理,保证不会引发较长的gc,JVM配置之后会给出,也可以只这样,只要你超时时间可以忍受gc停顿转载 2014-01-02 10:12:12 · 638 阅读 · 0 评论 -
HBase入库调优
本文章只针对“微型集群处理大数据”的场景。场景描述:硬件:5个节点,每个节点可用硬盘1块(700G、500G等)、8核cpu,实验室环境(有时候还要跑其他程序跟你抢占资源),16G内存。软件:hadoop-0.20.2-cdh3u2,hbase-0.90.4-cdh3u2。业务:sina微博12亿转发微博,700w用户信息。bzip压缩后共150G。要求就是将这些数转载 2014-01-02 10:14:07 · 655 阅读 · 0 评论 -
一种HBase的表region切分和rowkey设计方案
场景HBase的region随着大小的不断变大会触发一个阈值,默认为256M,一旦触发那么他就会自动的分裂开来,随着region变多hbase管理起来也越发困难,性能也会明显下降。当然更多的region使得高并发成为可能。一种较好的实践方案就是一方面预切分HBase的region,确定region的个数,保证并发性能,另一方面设置较高的region size分裂阈值,保证region数量不转载 2014-01-02 10:17:14 · 2158 阅读 · 1 评论 -
Hbase之一
Hbase环境部署一、安装准备下载cdh3版本的hbase默认前提已经安装好cdh3版本的hadoopmaster 192.168.2.25 主机名:a1slave1 192.168.2.26 主机名:a2slave2 192.168.2.27 主机名:a3slave3 192.168.2.28 主机名:a4slave4 192.16转载 2014-01-02 09:57:09 · 541 阅读 · 0 评论 -
HBase Shell
HBase Shell status:5 servers, 0 dead, 300.6000 average loadversion:0.90.4-cdh3u2, r, Thu Oct 13 20:32:26 PDT 2011list:看看你有啥表建表:create 'TestTable','cf1','cf2','cf3'切分表建表:./b转载 2014-01-02 09:49:25 · 560 阅读 · 0 评论 -
hbase-default.xml
该文档是用hbase默认配置文件生成的,文件源是 hbase-default.xml。 在实际的HBase生产环境中应用于%HBASE_HOME%/conf/hbase-site.xml中。 hbase.rootdir 这个目录是region server的共享目录,用来持久化HBase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中转载 2014-01-03 10:13:11 · 3105 阅读 · 0 评论 -
hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1分布式环境部署
一、hadoop2.2.0、zookeeper3.4.5、hbase0.96.2、hive0.13.1都是什么? hadoop2.2.0的介绍以及特性,参考这里:http://blog.yidooo.net/archives/hadoop-2-2-0-new-features.html zookeeper的介绍,参考这里:http://baike.baidu.com/view/3061转载 2014-11-12 17:41:36 · 2480 阅读 · 0 评论 -
HBase体系结构
HBase体系结构HBase的服务器体系结构遵从简单的主从服务器架构,它由HRegion Server群和HBase Master服务器构成。HBase Master负责管理所有的HRegion Server,而HBase中的所有RegionServer都是通过ZooKeeper来协调,并处理HBase服务器运行期间可能遇到的错误。HBase Master Server本身并不存储HBase中转载 2014-11-12 17:20:10 · 979 阅读 · 0 评论 -
学习Zookeeper文章合集()
分布式助手Zookeeper(一)Zookeeper最早是Hadoop的一个子项目,主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务,在2010年10月升级成Apache Software Foundation(ASF)顶级项目,它主要提供以下的四个功能: 功能名组管理服务分布式配置服务分布式同步服务分转载 2014-11-12 16:42:18 · 805 阅读 · 0 评论