walteryanghh-CSDN博客

原创从零搭建ambari/hadoop/hbase/zookeeper/yarn分布式集群

1，使用vmware创建4台虚拟机(rhel-server-7.0-x86_64-dvd.iso)，并且修改主机名 hostnamectl set-hostname cs-hdp-xxxxcs-hdp-nn01cs-hdp-dn01cs-hdp-dn02cs-hdp-dn032，关闭防火墙，并关闭开机启动项systemctl status firewalld.servicesyste...

2020-04-22 12:37:46 232 1

原创 HBASE修炼之路——00009(HBase之权限管理)

HBase支持做权限访问控制，HBase的权限访问包括以下5种权限，Read® 允许对某个scope有读取权限Write(W) 允许对某个scope有写入权限Execute(X) 允许对某个scope有执行权限Create© 允许对某个scope有建表、删表权限Admin(A) 允许对某个scope做管理操作，如balance、split、snapshot等–1 给oper用户授权全局...

2019-04-12 10:44:51 211

原创 HBASE修炼之路——00008(HBase之探索优化方案)

1、Hbase_master_heapsize令许多人惊讶的是，Hbase Master没有做任何繁重的工作，因此常规情况下Hbase_master_heapsize的值不超过4-8 GB。Master通常负责元数据的操作，例如创建/删除表，可以使用zookeeper znodes持续观察 regionserver的健康状况，当regionserver 宕机时会重新分配regions。请注意，...

2019-04-02 11:08:22 1549

原创 HBASE修炼之路——00007(HBase 参数优化1.0)

1、Hbase_master_heapsize（64GB）Hbase Master通常没有什么负载，Hbase_master_heapsize一般设置为4-8 GB。Master主要负责元数据的操作（例如：创建/删除表），以及通过zookeeper znodes持续观察 regionserver的健康状况，当regionserver 宕机时会重新分配region。由于Master中的调度管理...

2019-03-18 16:21:49 324

原创 HBASE修炼之路——00006(HBase 垃圾回收机制优化之Concurrent Mode Failure）

1、根据GC日志及HBASE日志分析如下：绝大部分情况下，regionsever宕机发生时，JVM都会触发concurrent mode failure。出现此现象的原因主要有三个：第一：CMS触发太晚了，CMS GC触发时，年老代所剩下的空间不足以满足新对象对空间分配请求1、降低触发CMS的阀值,前期已新增参数（-XX:CMSInitiatingOccupancyFraction=70），...

2019-03-05 21:32:36 318

原创 HBASE修炼之路——00005(建表属性)

1、DATA_BLOCK_ENCODING ——数据块编码默认不启动，主要针对行键，用时间换空间。2、BLOOMFILTER ——布隆过滤器默认不启动，3、REPLICATION_SCOPE——集群间数据复制开关默认为0，表示不启动；如果值=1，代表启动4、VERSIONS——HBase对表的数据行可以保留的版本（时间戳）个数5、COMPRESSION——压缩方式（当前SNAPPY...

2019-03-04 20:21:53 776

原创 HBASE修炼之路——00004(HBase 性能优化方案1.0)

一、垃圾回收优化-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:HBASEHOME/logs/gc−HBASE_HOME/logs/gc-HBASEHOME/logs/gc−(hostname)-hbase.log-XX:+UseParNewGC -XX:+UseConcMarkSweepGC-XX:CMSIn...

2019-02-26 21:37:46 229

原创 HBASE修炼之路——00003(HBase 垃圾回收机制优化1.0)

一、zookeeper超时时间配置 zoo.cfgticktime=2000 ms 默认ZK会话的超时时间在 2tickTime ~ 20tickTime 范围内二、JVM参数（CMS垃圾回收器）1）老年代使用CMS收集器-XX:+UseConcMarkSweepGC2）新生代使用并行回收算法（ParNew）-XX:UseParNewGC3）指定JVM堆内存最大可用值和...

2019-02-26 11:54:01 492

原创 HBASE修炼之路——00002(HBase shell)

一、数据定义语言（DDL）：Data Definition Language1、创建表create ‘s_behavior’,{NAME => ‘pc’} ,{NAME => ‘ph’}2、查看所有表：list3、查看建表语句：describe ‘s_behavior’4、修改表：1）下线：disable ‘s_behavior’2）修改：al...

2019-02-25 16:48:31 336

原创 HBASE修炼之路——00001

HBASE修炼之路——00001简介1、列式存储：对于特定的查询，不是所有的值都是必需的。2、压缩：列的数据类型天生是相似的，更利于压缩（增量压缩、前缀压缩）3、HBASE：1）不是一个列式存储的数据库；2）利用了磁盘上的列存储格式进行存储数据；（与RDBMS相似）3）适合键值对、有序的数据存取；4、减轻数据库的CPU和I/O压力：1）读写分离；2）增加缓存；3）分区；5...

2019-02-21 19:19:51 138

walteryanghh的博客