HRegionServer 启动分析

最新推荐文章于 2022-04-22 10:38:53 发布
最新推荐文章于 2022-04-22 10:38:53 发布
阅读量104 收藏
点赞数
文章标签： 大数据 java

HRegionServer的初始化到底做了哪些事情，以线程的维度应该能比较清晰的说明，也便于以后更进一步深入的分析。如果能弄清楚每个线程的职责分工，基本上HRegionServer的原理就明白了


HRegionServer的初始化

1.1）实例化

一个典型的栈快照

Thread[main](Suspended)
WritableRpcEngine$Server(HBaseServer).<init>(String,int,Class<Writable>,int,int,Configuration,String,int)line:1447
WritableRpcEngine$Server.<init>(Object,Class<?>[],Configuration,String,int,int,int,boolean,int)line:296
WritableRpcEngine.getServer(Class<VersionedProtocol>,Object,Class<?>[],String,int,int,int,boolean,Configuration,int)line:245
WritableRpcEngine.getServer(Class,Object,Class[],String,int,int,int,boolean,Configuration,int)line:55
HBaseRPC.getServer(Class,Object,Class<?>[],String,int,int,int,boolean,Configuration,int)line:401
HBaseRPC.getServer(Object,Class<?>[],String,int,int,int,boolean,Configuration,int)line:390
HRegionServer.<init>(Configuration)line:385
NativeConstructorAccessorImpl.newInstance0(Constructor,Object[])line:notavailable[nativemethod]
NativeConstructorAccessorImpl.newInstance(Object[])line:39
DelegatingConstructorAccessorImpl.newInstance(Object[])line:27
Constructor<T>.newInstance(Object...)line:513
HRegionServer.constructRegionServer(Class<HRegionServer>,Configuration)line:3225
HRegionServerCommandLine.start()line:60
HRegionServerCommandLine.run(String[])line:75
ToolRunner.run(Configuration,Tool,String[])line:65
HRegionServerCommandLine(ServerCommandLine).doMain(String[])line:76
HRegionServer.main(String[])line:3251



  • 此时正在实例化HRegionServer

  • 初始化了一个监听线程HBaseServer$Listener

  • 初始化并启动了10个（默认、可调）请求线程HBaseServer$Listener$Reader：

    • 将网络输入字节转化为Call,放入callQueue或者priorityCallQueue

    • DaemonThread[IPCReader0-9 onport60020]

  • 初始化一个响应线程HBaseServer$Responder

  • 初始化LruBlockCache

    • 启动缓存逐出线程LruBlockCache$EvictionThread：

      • 平时不干活，当缓存的内存过大会被唤醒，然后开始释放内存但不会使结果小于最小的内存

      • DaemonThread[LruBlockCache.EvictionThread]

    • 启动一个定时的缓存使用统计线程LruBlockCache$StatisticsThread

      • 仅仅在debug模式会将缓存统计信息打入日志

      • DaemonThread[LRUStatistics#0]

1.2）启动

一个典型的栈快照

Thread[main](Suspended)

HRegionServer.startRegionServer(HRegionServer,String)line:3207
HRegionServer.startRegionServer(HRegionServer)line:3191
HRegionServerCommandLine.start()line:61
HRegionServerCommandLine.run(String[])line:75
ToolRunner.run(Configuration,Tool,String[])line:65
HRegionServerCommandLine(ServerCommandLine).doMain(String[])line:76

HRegionServer.main(String[])line:3251



  • 启动一个启动线程HRegionServer(本身实现了runnable)：

    • 用于向HMaster汇报

    • Thread[regionserver60020]

    • 初始化zookeeper[HRegionServer.initializeZooKeeper]

      • 启动zookeeperclient，实例化ZooKeeper，触发两个线程

        • ClientCnxn$SendThread

          • DaemonThread[regionserver60020-SendThread(vm-cbu-dev-otd-156-53.hst.bjc.kfc.alidc.net:2181)]

        • ClientCnxn$EventThread

          • DaemonThread[regionserver60020-EventThread]

      • 实例化CatalogTracker跟踪-ROOT-和.META.，其中同样会实例化ZooKeeper，触发两个线程

        • ClientCnxn$SendThread

          • DaemonThread[regionserver60020-SendThread(vm-cbu-dev-otd-156-53.hst.bjc.kfc.alidc.net:2181)]

        • ClientCnxn$EventThread

          • DaemonThread[regionserver60020-EventThread]

    • 实例化线程[HRegionServer.initializeThreads]

      • 实例化MemStoreFlusher

      • 实例化CompactSplitThread

      • 实例化Leases线程

        • Leases线程一种超时检查机制，某些客户调用涉及到耗时操作比如rowlock或者scan,都会在Leases线程中注册，一旦超时，Leases线程会调用一个注册的回调进行处理

    • 在zookeeper注册一个znode

    • 设置复制

    • 实例化Hlog

      • 实例化一个logroll线程LogRoller：会定期检查log是否超过固定尺寸，超过则roll

      • 实例化Hlog的的SequenceFileLogWriter，

        • 启动一个LeaseCheck线程[org.apache.hadoop.hdfs.DFSClient$LeaseChecker]

          • （此Lease非彼Lease，前者是haddop,后者属hbase)

          • DaemonThread[LeaseChecker]

        • 启动org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer

          • DaemonThread[DataStreamerforfile/hbase/.logs/vm-cbu-dev-otd-156-53.hst.bjc.kfc.alidc.net,60020,1335341948662/vm-cbu-dev-otd-156-53.hst.bjc.kfc.alidc.net%2C60020%2C1335341948662.1335342838477blockblk_-2454170457116903777_1073]

      • 启动一个Hlog$LogSyncer线程同步writerbuffer中的数据

        • DaemonThread[regionserver60020.logSyncer]

        • 会触发启动org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor线程

          • DaemonThread[ResponseProcessorforblockblk_-2454170457116903777_1073]

    • 启动服务线程

      • 实例化一堆线程池

      • 启动前面提到的LogRoller线程

        • DaemonThread[regionserver60020.logRoller]

      • 启动前面提到的MemStoreFlusher线程

        • DaemonThread[regionserver60020.cacheFlusher]

      • 启动前面提到的CompactSplitThread线程

        • DaemonThread[regionserver60020.compactionChecker]

      • 启动前面提到的Leases线程

        • DaemonThread[regionserver60020.leaseChecker]

    • 启动一个jettyserver

      • 启动一个监听线程

        • Thread[1879358054@qtp-1524522201-0]

      • 启动一个select线程

        • Thread[1185851599@qtp-1524522201-1-Acceptor0SelectChannelConnector@0.0.0.0:60030]

      • 也会触发启动一个java.util.TimerThread，

        • 不知道干嘛个

        • DaemonThread[Timer-0]

    • 启动RPCserver

      • 启动HBaseServer$Responder线程

        • DaemonThread[IPCServerResponder]

      • 启动HBaseServer$Listener线程

        • DaemonThread[IPCServerlisteneron60020]

      • 启动10个Handler线程：处理callQueue中的请求

        • DaemonThread[IPCServerhandler 0-9on60020]

      • 启动10个优先级Handler线程：处理priorityCallQueue中的请求

        • DaemonThread[PRIIPCServerhandler0-9on60020]



附上所有线程（见上面标绿的地方）

JavaHotSpot(TM)64-BitServerVM[10.20.156.53:8000]

DaemonThread[IPCReader0onport60020](Running)
DaemonThread[IPCReader1onport60020](Running)
DaemonThread[IPCReader2onport60020](Running)
DaemonThread[IPCReader3onport60020](Running)
DaemonThread[IPCReader4onport60020](Running)
DaemonThread[IPCReader5onport60020](Running)
DaemonThread[IPCReader6onport60020](Running)
DaemonThread[IPCReader7onport60020](Running)
DaemonThread[IPCReader8onport60020](Running)
DaemonThread[IPCReader9onport60020](Running)
DaemonThread[LruBlockCache.EvictionThread](Running)
DaemonThread[LRUStatistics#0](Running)
Thread[regionserver60020](Running)
DaemonThread[regionserver60020-SendThread(vm-cbu-dev-otd-156-53.hst.bjc.kfc.alidc.net:2181)](Running)
DaemonThread[regionserver60020-EventThread](Running)
DaemonThread[regionserver60020-SendThread(vm-cbu-dev-otd-156-53.hst.bjc.kfc.alidc.net:2181)](Running)
DaemonThread[regionserver60020-EventThread](Running)
DaemonThread[LeaseChecker](Running)
DaemonThread[DataStreamerforfile/hbase/.logs/vm-cbu-dev-otd-156-53.hst.bjc.kfc.alidc.net,60020,1335341948662/vm-cbu-dev-otd-156-53.hst.bjc.kfc.alidc.net%2C60020%2C1335341948662.1335342838477blockblk_-2454170457116903777_1073](Running) DaemonThread[regionserver60020.logSyncer](Running)
DaemonThread[regionserver60020.logRoller](Running)
DaemonThread[regionserver60020.compactionChecker](Running)
DaemonThread[regionserver60020.cacheFlusher](Running)
DaemonThread[regionserver60020.leaseChecker](Running)
Thread[1879358054@qtp-1524522201-0](Running)
Thread[1185851599@qtp-1524522201-1-Acceptor0SelectChannelConnector@0.0.0.0:60030](Running)
DaemonThread[ResponseProcessorforblockblk_-2454170457116903777_1073](Running)
DaemonThread[Timer-0](Running)
DaemonThread[IPCServerlisteneron60020](Running)
DaemonThread[IPCServerResponder](Running)
DaemonThread[IPCClient(47)connectiontovm-cbu-dev-otd-165-74.hst.bjc.kfc.alidc.net/10.20.165.74:60000fromadmin](Running)
Thread[SplitLogWorker-vm-cbu-dev-otd-156-53.hst.bjc.kfc.alidc.net,60020,1335341948662](Running)
DaemonThread[IPCServerhandler4on60020](Running)
DaemonThread[PRIIPCServerhandler3on60020](Running)
DaemonThread[IPCServerhandler1on60020](Running)
DaemonThread[IPCServerhandler9on60020](Running)
DaemonThread[IPCServerhandler7on60020](Running)
DaemonThread[IPCServerhandler5on60020](Running)
DaemonThread[IPCServerhandler6on60020](Running)
DaemonThread[PRIIPCServerhandler7on60020](Running)
DaemonThread[PRIIPCServerhandler4on60020](Running)
DaemonThread[PRIIPCServerhandler2on60020](Running)
DaemonThread[PRIIPCServerhandler1on60020](Running)
DaemonThread[IPCServerhandler0on60020](Running)
DaemonThread[IPCServerhandler3on60020](Running)
DaemonThread[IPCServerhandler2on60020](Running)
DaemonThread[PRIIPCServerhandler0on60020](Running)
DaemonThread[PRIIPCServerhandler9on60020](Running)
DaemonThread[PRIIPCServerhandler5on60020](Running)
DaemonThread[PRIIPCServerhandler8on60020](Running)
DaemonThread[IPCServerhandler8on60020](Running)
DaemonThread[PRIIPCServerhandler6on60020](Running)
Thread[DestroyJavaVM](Running)






iteye_21199
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HBase学习之HRegionServer概述
浩先生的博客
04-03 1万+
在之前博文中分析了HMaster的启动以及其在整个系统中的作用，在本篇文章中，我们将继续讨论HBase中另外一个重要的角色—-HRegionServer，文章中所涉及的相关知识点会后续更新。**RegionServer的功能模块分析**话不多说，直接上图来看一下RegionServer的整体功能图（本文的整体思路亦是按照这个功能图展开的）：从上图可以看出RegionServer是通过RPC协议与HM
HregionServer 启动部分讲解
牧童的专栏
03-27 869
记录JVMINFO RuntimeMXBean runtime = ManagementFactory.getRuntimeMXBean(); if (runtime != null) { LOG.info("vmName=" + runtime.getVmName() + ", vmVendor=" + runtime.getVmVend
HBase启动后HRegionServer未启动
coco_ethan的专栏
11-29 299
HRegionServer未启动的具体操作如下: 1.先查看当时的时间：date 2.根据获得的时间对系统进行同步：date -s08:42:00 再次启动hbase，成功看到HRegionServer已启动。 ...
HRegionServer详解
weixin_33804990的博客
01-02 960
2019独角兽企业重金招聘Python工程师标准>>> ...
HBase源码：HRegionServer启动过程
weixin_33936401的博客
04-08 206
版本：HBase 0.94.15-cdh4.7.0 关于HMaster启动过程，请参考HBase源码：HMaster启动过程。先启动了HMaster之后，再启动HRegionServer。 运行HRegionServerStarter类启动HRegionServer： package my.test.start; import org.apache.h...
HRegionServer启动和停止过程分析
dangyifei
03-01 5495
HRegionServer的功能 1. HRegionServer主要负责响应用户I/O请求，向底层文件系统中读写数据，是HBase中最核心的模块。    HRegionServer内存管理了一系列的HRegion对象，每个HRegion对应了table中的一个Region.    HRegion由多个HStore组成，每个HStore对应了table中的一个colum family的存
HBASE REGIONSERVER启动过程
隔壁老杨的专栏
03-30 4942
HBASEHRegionServer启动分析 regionserver的启动入口是HRegionServer.main方法 生成HRegionServercommandLine实例,并执行doMain方法, 此方法中通过ToolRunner.run去调用HRegionServercommandLine.run方法 a.判断传入参数是start还是stop，如果是start,调用HRegio
HBase源码分析之HRegionServer上MemStore的flush处理流程（一）
辰辰爸的博客
02-29 3525
在《HBase源码分析之HRegion上MemStore的flsuh流程（一）》、《HBase源码分析之HRegion上MemStore的flsuh流程（二）》等文中，我们介绍了HRegion上Memstore flush的主体流程和主要细节。但是，HRegion只是HBase表中按照行的方向对一片连续的数据区域的抽象，它并不能对外提供单独的服务，供客户端或者HBase其它实体调用。而HRegion上MemStore的flush还是要通过HRegionServer来对外提供服务的。下面，我们就详细探究下HR
HBase1.0.0版源码分析之HMaster启动代码分析(1)
Grok coding
03-21 1672
本文其实还算不上真正的启动代码解析,本文主要还是从启动流程上分析到startHMaster部分,初次之外本文将就HBase的伪分布式调试方式进行相关的介绍. 我们将源码倒入到Intellij IDE之后会得到如下的代码结构: 这里我们进入hbase-server中在src/main下面的resources中添加hadoop-metrics2-hbase.properties,hbase
HBase之HRegionServer启动（含与HMaster交互）
weixin_30536513的博客
11-18 395
　　在我的博文《HBase——HMaster启动之一》、《HBase——HMaster启动之二》中已经详细介绍过HMaster在启动过程中调用的各种方法。下面，单就HRegionServer在启动过程中与HMaster的交互做一下深入分析。 　　首先，让我们来到HRegionServer.run,由于其也是间接实现了Runnable接口。因此，在这里，就从他的run方法开始分析。对于前...
HRegionServer的详解
黄佳俊的博客
04-22 1106
Point 1： HRegionServer一般和DataNode在同一台机器上运行，实现数据的本地性。 Point 2： HRegionServer包含多个HRegion，由WAL(HLog)、BlockCache、MemStore、HFile组成。 1.WAL即Write Ahead Log，在早期版本中称为HLog，它是HDFS上的一个文件，如其名字所表示的，所有写操作都会先保证将数据写入这个Log文件后，才会真正更新MemStore，最后写入HFile中。采用这种模式，可以保证HRegionSe
11-hbase-daemon.sh start regionserver启动命令分析
08-26 5748
hbase-daemon.sh start regionserver (start)中 nohup $thiscmd --config "${HBASE_CONF_DIR}" foreground_start $command $args ${HBASE_LOGOUT} 2>&1 & (foreground_start)中 nice -n $HBASE_NICENESS "$HBAS
Hbase学习5_开启 hbase 时，slave 上的 HRegionServer 没有启动
wang_zhenwei的博客
02-16 1779
1.问题描述 我在开启 hbase 时发现 slave 上的 HRegionserver 没有启动，后来查看 log 日志发现如下问题：  由上述图片中的信息初步判断是由于 date 时间设置没有与主机同步 2.解决方法 第一种：使用 date -s “2014-1-4 12:16:00” 在 root 权限下键入时间，使其与 主机同步 
HBase深入分析之RegionServer
meiye的专栏
11-12 1348
所有的用户数据以及元数据的请求，在经过Region的定位，最终会落在RegionServer上，并由RegionServer实现数据的读写操作。本小节将重点介绍RegionServer的代码结构和功能，从实现细节上深入理解RegionServer对于数据的操作流程。 1 RegionServer概述 RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase
HRegionServer启动失败
NEU_tt的博客
05-02 905
在启动hbase时，最容易出现的错误就是hmaster起来了，但是 HRegionServer启动失败，或者说起来后又自动挂掉。 查过日志后，发现出现这类问题一般是由于时间不同步，导致时间误差过大。解决这个问题，可以设置时间同步，但是也可以简单粗暴一点，就是在配置文件中直接添加最大误差的属性。 打开hbase-site.xml: 添加属性： hbase.master.maxclocks
HBase中的HMaster、HRegionServer、Zookeeper
热门推荐
mm_bit的博客
05-03 1万+
HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master. Hbase每时每刻只有一个hmaster主服务器程序在运行，hmaster将region分配给region服务器，协调region服务器的负载并维护集群的状态。Hmaster不会对外提供数据服务，而是由region服
HRegionServer 启动不了，但是HMaster能够启动成功。
yilan1993的专栏
04-20 1406
Exception in thread "main" java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer ... Caused by: java.net.BindException: Problem
HBase详解：运行、启动及Web管理
启动HBase的过程通常涉及运行`start-hbase.sh`脚本，这会启动HMaster（主服务器）、HRegionServer（区域服务器）以及相关的服务。 HBase凭借其灵活性和高效性，适用于大数据处理场景，尤其适合那些需要快速读取、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值