萌兔兔MMQ！！

所以每个节点可以分 5.5G/ 2 = 2.75G ，所以最大只能2.75G，内存，而且NodeManager申请的资源只能是512M的整数倍，所以最大是2.5G，那么executor-memory + max( 384, 0.1 * executor-memory) ~ 2.5G ,那么executor-memory就等于2176；其中，左边是CLient模式，右边是Cluster模式，也就是说其实CLuster模式下，提交任务后，CLient可以离开了，而Client模式下，Client不可以离开；

之后HMaster，HRegionServer，HQuorumPeer会自动挂掉。在本地搭建一套Hbase环境，在执行start-hbase.sh后，观察log。根据log推断应该是zookeepr出现了问题。

1.说明hbase 的下载来源有：官方版本：http://archive.apache.org/dist/hbase/CDH版本：http://archive.cloudera.com/cdh5企业应用一般选择CDH版本，因为比较稳定。若决定使用CDH版本，则要保证相关软件的CDH版本相同，如 选择 hadoop-2.6.0-cdh5.9.3 与 hbase-1.2.0-cdh5.9.32.环境准备操作系统 : linux CentOS 6.8jdk:1.7。

HBase的安装包里面有自带的ZooKeeper，HBASE_MANAGES_ZK环境变量用来设置是使用HBase默认自带的 Zookeeper还是使用独立的ZooKeeper。Rowkey的概念和mysql中的主键是完全一样的，Hbase使用Rowkey来唯一的区分某一行的数据。（2）、无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态增加，同一个表中的不同行的可以有截然不同的列。向表中添加数据，在想HBase的表中添加数据的时候，只能一列一列的添加，不能同时添加多列。

而 G1 适合大内存的场景，通过把堆内存划分为多个 Region（不是 HBase 中的 Region），然后对各个 Region 单独进行 GC，这样就具有了并行整理内存碎片的功能，可以最大限度的避免 Full GC 的到来，提供更加合理的停顿时间。此外，HBase 2.x 不再支持该参数。hbase.bucketcache.size：BucketCache 大小，取值有两种，一种是[0,1]之间的浮点数值，表示占总内存的百分比，另一种是大于1的值，表示占用内存大小，单位 MB。...

今日在windows上用spark写hbase的函数saveAsHadoopDataset写hbase数据库的时候，遇到WillnotattempttoauthenticateusingSASL(unknownerror)错误，程序卡在那里不动了，百度后发现是我的windows上面hosts文件没有配置。其实，PySpark–我认为这不重要。作为HBase的客户端，你必须连接到这两个HBase的服务（直接或通过节俭）和动物园管理员服务（通常在同一台服务器HBase的主上运行）。...

启动Hbase进入在安装目录下的bin目录查看进程使用jps命令查看启动的进程发现Hmaster进程并没有启动，并且发现报错这是由于JDK使用的是jdk1.8.0_65我们只需要把hbase-env.sh里面的。

这是ScheduledChore调用的通用方式，通过getChoreService获取初始化的成员变量choreService(同样在HMaster的父类HRegionServer构造的最后实例化的)，然后调用其scheduleChore方法，在上面我已经讲过了，这里就不再赘述了。很多同学在这里可能就迷惑了，到底该先分析哪个呢，我在刚开始看的时候也比较懵逼，后来多分析了几次发现，殊途同归，先分析哪个都无所谓。在ProcedureExecutor的构造方法中只是对其成员变量的赋值，并没有什么比较重要的方法。.

2、split后的compact是一个比较耗资源的动作。10）、hbase.hregion.memstore.block.multiplier默认值2，如果memstore的内存大小已经超过了hbase.hregion.memstore.flush.size的2倍，则会阻塞memstore的写操作，直到降至该值以下，为避免发生阻塞，最好调大该值，比如4，不可太大，如果太大，则会增大导致整个RS的memstore内存超过memstore.upperLimit限制的可能性，进而增大阻塞整个RS的写的几率。...

问题现象访问CloudTable的HBase连接不上，出现如下所示的错误信息：Opening socket connection to server 192.168.0.107/192.168.0.107:2181. Will not attempt to authenticate using SASL (unknown error)原因分析出现该问题的可能原因为：网络访问不通。由于CloudTable的链接地址是内网地址，不是公网地址，不能在公网环境直接连接CloudTable。您可以在客户端主机上

HBase启动RegionServer时报错：ERROR [main] regionserver.HRegionServer: Failed construction RegionServerjava.lang.IllegalArgumentException: java.net.UnknownHostException: xxx原因是hbase-site.xml文件的hbase.rootdir属性的值用的是ZooKeeper的入口，即dfs.nameservices的值解决方法：把/hadoop/etc

我正在尝试将Spark应用程序与hbase连接。以下是我给的配置val conf = HBaseConfiguration.create()conf.set(“hbase.master”, “localhost:16010”)conf.setInt(“timeout”, 120000)conf.set(“hbase.zookeeper.quorum”, “2181”)val connection = ConnectionFactory.createConnection(conf)以下是“ jps”详

hbase 节点重启报错：问题描述：重启Hbase RegionServer和Hmaster失败查看主、从节点日志后发现如下报错解决办法：经排查后发现各节点date时间不同，相差较大，导致启动失败。设置ntp时间同步或者批量操作各节点同时修改相同时间。sudo systemctl restart chronyd.service时间重新同步后，重启hbase服务后恢复正常。单节点重启依然失败。...

1、巡检HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。每日早晚巡检HDFS 服务，包括HDFS 服务可用性、存储使用率、datanode 是否有故障盘等。1.1、HDFS 总体状态①HDFS 状态，如下的红色提示需要关注②HDFS 容量是否过阈值1.2、HDFS UI 巡检1.2.1、summary巡检对应上图所示标号，逐一进行解释：（1）HDFS 总文件数：此数值代表着 HDFS 存储内有多少文件，该数值的警告阈值为 5000W（2）HDFS 总存储容量：此数值

进入hbase shell命令./hbase shell1、status查看hbase运行状态2、version查看hbase版本3、list列出hbase所有的 表4、创建表create ‘info_member’,‘member_id’,‘address’,‘info’5、查看表结构describe ‘info_member’6、表添加列alter ‘info_member’,‘sex’7、删除一个列族alter ‘info_member’, {NAME => ‘se

这两命令可以匹配正则表达式，对表进行批量操作，也可以对确定名字的单表操作，在表名不存在时，也不会返回exception，只会有提示信息。\ny是为了实现自动确认，因为这两命令需要用户交互确认。例子，删除所有“haha”开头的表：echo -e “disable_all ‘haha.’\ny" | hbase shell -necho -e "drop_all 'haha.’\ny” | hbase shell -n...

HBase中删除一张表先disable ‘tableName’再drop ‘tableName’来删除表问：如果region非常多（但没有访问量了），对线上会有什么影响吗？答：disable只是改了一下ZK里面table的状态。drop也不是现场就把hfile删掉了，只是迁移到.archive目录下，然后有一个过期时间，定期清理的。这个过程需要做flush。所以执行drop命令，region数量对hbase的影响基本为0。主要是hdfs要move一下文件。问：drop后，hfile那些是异步删除

一：hbase现有硬件资源的理论性能1.集群容量规划公式：优化调整，发挥硬件的最大优势；Disk Size / Java Heap=RegionSize / MemstoreSize * ReplicationFactor * HeapFractionForMemstore *2按照默认配置，RegionSize = 10G，对应参数为hbase.hregion.max.filesize；MemstoreSize = 128M，对应参数为hbase.hregion.memstore.flush.

近期腾讯云的一家大客户频繁出现HBase regionserver 挂掉，影响业务正常使用。通过调整堆栈大小、gc优化、超时时间等都无法解决该问题。经过细致并综合分析hbase regionserver、hbase master以及 zookeeper的日志，发现了问题所在：tickTime设置导致hbase超时时间错误。一、故障现象1、 首先regionserver频繁爆出两类错误：wal.FSHLog: Error syncing, request close of WAL:以及出现错误：r

今天线上遇到一个问题：有一台服务器的cpu持续冲高，排查发现是我们的一个java应用进程造成的，该进程在向hbase中写入数据时，日志不断地打印下面的异常：Copyorg.apache.hadoop.hbase.NotServingRegionException: Region iot_flow_cdr_201811,4379692584601-2101152593-20181115072326-355,1536703383699.82804f639798d0502dd64e6e47d75d84. is

对hbase 的hfile 进行snappy压缩的配置：1> hadoop集群必须先配置好snappy压缩 参考http://hymanliu.iteye.com/blog/22243302>在hbase的lib/native目录下一个软链接 Linux-amd64-64 -> $HADOOP_HOME/lib/native 重启hbase集群。Shell代码 收藏代码mkdir -p $HBASE_HOME/lib/nativecd $HBASE_HOME/lib/nati

hbase的稳定性是近期社区的重要关注点，毕竟稳定的系统才能被推广开来，这里有几次稳定性故障和大家分享。第一次生产故障的现象及原因1 hbase发现无法写入2 通过hbck检测发现.META.表中出现空洞，具体log是：;Chain of regions in table … is broken; edges does not contain …3 此时读写失败修复方法：直接使用check_meta.rb重新生成.META.表并修补空洞，但是会引起数据丢失。因为引起该空洞的原因是某个region

对hbase调优首先需要对hbase架构有一个初步认知。hbase写数据在HBase 中无论是增加新行还是修改已有的行，其内部流程都是相同的。HBase 接到命令后存下变化信息，或者写入失败抛出异常。默认情况下，执行写入时会写到两个地方：1、预写式日志（write-ahead log，也称HLog）；2、MemStore。HBase 的默认方式是把写入动作记录在这两个地方，以保证数据持久化。只有当这两个地方的变化信息都写入并确认后，才认为写动作完成。MemStore 是内存里的写入缓冲区，H

参与 Region 分配的重要对象在 Region 分配过程当中，起着重要做用有以下一些对象。安全HMaster— 是 HBase 中的 Master server ，仅有一个。HRegionServer— 负责多个 HRegion 使之能向 client 端提供服务，在 HBase cluster 中存在多个HRegionServer 。ServerManager— 负责管理 Region server 信息，好比每一个 Region server 的 HServerInfo( 这个对象包含HSe

The algorithm is basically as follows:Run over the set of all store files, from oldest to youngestIf there are more than 3 (hbase.hstore.compactionThreshold) store files left and the current store file is 20% larger then the sum of all younger store file

一. 概述HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍HBase基本的细节。本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点：在给定业务量级的情况下，预先评估好集群的合理规模在 HBase 的众多参数中，选择合理的配置组合二. HBase 写链路简要分析HBase 的写入链路基于

前几天朋友公司Hbase集群出现Compaction队列持续处于比较大的情况，并且mem flush队列也比较大，一起看了下问题，大概情况如下图从图中可以看出来压缩队列总和持续在1000-2000，平对压缩队列在200左右，刷新队列也比较高，当然压缩队列高的原因就是因为我们 MemStore Flush 比较频繁，导致写入的StoreFile数量增加，触发了Compcation。问题原因分析我们先说下什么情况下会触发Compaction1.后台线程周期性检查：multiplier=1000，c

我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。1.两种合并HBase中Compaction分为两种。Minor Compaction称为小合并，主要是选取一些小的、相邻的HFile将他们合并成较大的HFile，并删除HFile中的过期数据。Major Comp

今天在hbase中执行下面的命令disable ‘iw:test06’alter ‘iw:test06’,NAME=>‘i’,COMPRESSION=>‘SNAPPY’count ‘iw:test06’提示下面的异常信息2018-01-15 10:49:20,660 [myid:2] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1008] - Closed socket connection for.

版本：0.94-cdh4.2.1Split Region[regionserver60020-splits-1397585864985] INFO org.apache.hadoop.hbase.regionserver.SplitRequest - Region split, META updated, and report to master. Parent=test_table,|u:21419463|1389789100286|9749216794103914,1391785640492.8

日志文件夹的默认存储路径是：/var/log下面是几个重要的日志文件：/var/log/messages：包括整体系统信息，其中也包含系统启动期间的日志。此外，还包括mail，cron，daemon，kern和auth等内容。/var/log/syslog：它和/etc/log/messages日志文件不同，它只记录警告信息，常常是系统出问题的信息。/var/log/user.log：记录所有等级用户信息的日志。/var/log/auth.log：包含系统授权信息，包括用户登录和使用的权限机制等。

1.启动hbase后，在hbase shell中执行 status和create时报错123456789ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializingat org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:3064)at org.apache.hadoop.hbase.master.HMaster

HBase错误解决在IDEA中远程连接时提示错误2019-10-08 15:17:28 DEBUG org.apache.zookeeper.ClientCnxn Reading reply sessionid:0x10000192d2c000b, packet:: clientPath:/hbase/meta-region-server serverPath:/hbase/meta-region-server finished:false header:: 11,4 replyHeader::

报错信息例如：2019-09-02 09:43:21,534 WARN [master/s128:16000:becomeActiveMaster] master.HMaster: hbase:meta,1.1588230740 is NOT online; state={1588230740 state=OPEN, ts=1567388594985, server=s130,16020,1567155264196}; ServerCrashProcedures=true. Master startup