HBASE
walteryanghh
骆驼,狮子,婴儿
展开
-
从零搭建ambari/hadoop/hbase/zookeeper/yarn分布式集群
1,使用vmware创建4台虚拟机(rhel-server-7.0-x86_64-dvd.iso),并且修改主机名 hostnamectl set-hostname cs-hdp-xxxxcs-hdp-nn01cs-hdp-dn01cs-hdp-dn02cs-hdp-dn032,关闭防火墙,并关闭开机启动项systemctl status firewalld.servicesyste...原创 2020-04-22 12:37:46 · 232 阅读 · 1 评论 -
HBASE修炼之路——00001
HBASE修炼之路——00001简介1、列式存储:对于特定的查询,不是所有的值都是必需的。2、压缩:列的数据类型天生是相似的,更利于压缩(增量压缩、 前缀压缩)3、HBASE:1)不是一个列式存储的数据库;2)利用了磁盘上的列存储格式进行存储数据;(与RDBMS相似)3)适合键值对、有序的数据存取;4、减轻数据库的CPU和I/O压力:1)读写分离;2)增加缓存;3)分区;5...原创 2019-02-21 19:19:51 · 138 阅读 · 0 评论 -
HBASE修炼之路——00002(HBase shell)
一、数据定义语言(DDL):Data Definition Language1、创建表create ‘s_behavior’,{NAME => ‘pc’} ,{NAME => ‘ph’}2、查看所有表:list3、查看建表语句:describe ‘s_behavior’4、修改表:1)下线:disable ‘s_behavior’2)修改:al...原创 2019-02-25 16:48:31 · 338 阅读 · 0 评论 -
HBASE修炼之路——00003(HBase 垃圾回收机制优化1.0)
一、zookeeper超时时间配置 zoo.cfgticktime=2000 ms 默认ZK会话的超时时间在 2tickTime ~ 20tickTime 范围内二、JVM参数(CMS垃圾回收器)1)老年代使用CMS收集器-XX:+UseConcMarkSweepGC2)新生代使用并行回收算法(ParNew)-XX:UseParNewGC3)指定JVM堆内存最大可用值和...原创 2019-02-26 11:54:01 · 494 阅读 · 0 评论 -
HBASE修炼之路——00006(HBase 垃圾回收机制优化之Concurrent Mode Failure)
1、根据GC日志及HBASE日志分析如下:绝大部分情况下,regionsever宕机发生时,JVM都会触发concurrent mode failure。出现此现象的原因主要有三个:第一:CMS触发太晚了,CMS GC触发时,年老代所剩下的空间不足以满足新对象对空间分配请求1、降低触发CMS的阀值,前期已新增参数(-XX:CMSInitiatingOccupancyFraction=70),...原创 2019-03-05 21:32:36 · 318 阅读 · 0 评论 -
HBASE修炼之路——00004(HBase 性能优化方案1.0)
一、垃圾回收优化-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:HBASEHOME/logs/gc−HBASE_HOME/logs/gc-HBASEHOME/logs/gc−(hostname)-hbase.log-XX:+UseParNewGC -XX:+UseConcMarkSweepGC-XX:CMSIn...原创 2019-02-26 21:37:46 · 229 阅读 · 0 评论 -
HBASE修炼之路——00005(建表属性)
1、DATA_BLOCK_ENCODING ——数据块编码默认不启动,主要针对行键,用时间换空间。2、BLOOMFILTER ——布隆过滤器默认不启动,3、REPLICATION_SCOPE——集群间数据复制开关默认为0,表示不启动;如果值=1,代表启动4、VERSIONS——HBase对表的数据行可以保留的版本(时间戳)个数5、COMPRESSION——压缩方式 (当前SNAPPY...原创 2019-03-04 20:21:53 · 783 阅读 · 0 评论 -
HBASE修炼之路——00007(HBase 参数优化1.0)
1、Hbase_master_heapsize(64GB)Hbase Master通常没有什么负载,Hbase_master_heapsize一般设置为4-8 GB。Master主要负责元数据的操作(例如:创建/删除表),以及通过zookeeper znodes持续观察 regionserver的健康状况,当regionserver 宕机时会重新分配region。 由于Master中的调度管理...原创 2019-03-18 16:21:49 · 326 阅读 · 0 评论