- 博客(30)
- 收藏
- 关注
RSS订阅spark编译与onyarn的运行
Spark on yarn执行流程源代码分析 目前的分析主要基于spark0.9.0的cdh5的版本进行分析， 源代码下载地址：https://github.com/cloudera/spark.git 下载方式：git clone url ./spark 进入spark目录，执行git checkout cdh5-0.9.0_5.0.0 ...
2014-04-28 14:40:43
107
原创 spark编译与onyarn的运行
Spark on yarn执行流程源代码分析目前的分析主要基于spark0.9.0的cdh5的版本进行分析，源代码下载地址：https://github.com/cloudera/spark.git下载方式：gitclone url ./spark进入spark目录，执行gitcheckoutcdh5-0.9.0_5.0.0源代码编译使用sbt编译spa
2014-04-28 14:35:06
2227
UserScan的处理流程分析
UserScan的处理流程分析 前置说明 Userscan是通过client或cp中发起的scanner操作。 在Scan中通过caching属性来返回可以返回多少条数据，每次进行next时。 通过batch属性来设置每次在rs端每次next kv时，可读取多少个kv，(在同一行的情况下) 在生成Scan实例时，最好是把family与column都设...
2014-04-25 16:46:55
385
原创 UserScan的处理流程分析
UserScan的处理流程分析前置说明Userscan是通过client或cp中发起的scanner操作。在Scan中通过caching属性来返回可以返回多少条数据，每次进行next时。通过batch属性来设置每次在rs端每次nextkv时，可读取多少个kv，(在同一行的情况下)在生成Scan实例时，最好是把family与column都设置上，这样能保证查询的最高效.cli
2014-04-25 16:41:13
2065
Major compaction时的scan操作
Major compaction时的scan操作 发起major compaction时，通过CompactSplitThread.CompactionRunner.run开始执行 -->region.compact(compaction, store)-->store.compact(compaction)--> CompactionContex...
2014-04-24 16:14:38
164
原创 Major compaction时的scan操作
Major compaction时的scan操作发起majorcompaction时，通过CompactSplitThread.CompactionRunner.run开始执行-->region.compact(compaction,store)-->store.compact(compaction)-->CompactionContext.compact,发起compact操作C
2014-04-24 16:07:58
1512
minor compaction时的scan操作分析
minor compaction时的scan操作分析 minor compaction时的scan主要是对store下的几个storefile文件进行合并,通常不做数据删除操作。 compaction的发起通过CompactSplitThread.requestCompactionInternal--> CompactSplitThread.Compacti...
2014-04-23 14:00:19
150
原创 minor compaction时的scan操作分析
minor compaction时的scan操作分析minor compaction时的scan主要是对store下的几个storefile文件进行合并,通常不做数据删除操作。compaction的发起通过CompactSplitThread.requestCompactionInternal-->CompactSplitThread.CompactionRunner.run-->re
2014-04-23 13:56:12
1428
compact处理流程分析
compact处理流程分析 compact的处理与split相同，由client端与flush时检查发起。 针对compact还有一个在rs生成时生成的CompactionChecker线程定期去检查是否需要做compact操作 线程执行的间隔时间通过hbase.server.thread.wakefrequency配置，默认为10*1000ms Compa...
2014-04-21 21:05:54
365
region split流程分析
region split流程分析split region的发起主要通过client端调用regionserver.splitRegion或memstore.flsuh时检查并发起。 Client通过rpc调用regionserver的splitRegion方法client端通过HBaseAdmin.split传入region name与split point(切分的rowkey,...
2014-04-19 16:37:10
136
memstore的flush流程分析
memstore的flush流程分析memstore的flush发起主要从以下几个地方进行： a.在HRegionServer调用multi进行更新时，检查是否超过全局的memstore配置的最大值与最小值， 如果是，发起一个WakeupFlushThread的flush请求，如果超过全局memory的最大值，需要等待flush完成。 b.在HRegionServer进行数据...
2014-04-18 15:57:53
244
原创 memstore的flush流程分析
memstore的flush流程分析memstore的flush发起主要从以下几个地方进行： a.在HRegionServer调用multi进行更新时，检查是否超过全局的memstore配置的最大值与最小值， 如果是，发起一个WakeupFlushThread的flush请求，如果超过全局memory的最大值，需要等待flush完成。 b.在HRegionServer进行数据更
2014-04-18 15:53:56
2461
3
Hlog的相关处理流程不完全分析
Hlog的相关处理流程： 在对hbase中数据进行更新操作put/delete/append/increment操作时，记录操作日志供日志重播的相关处理。 Hlog的写入通过regionserver实例生成时生成的FSLog为的实例。 通过LogRoller线程定期去检查并删除过期的日志文件。 定期检查的时间间隔通过hbase.regionserver....
2014-04-15 17:59:20
211
原创 Hlog的相关处理流程不完全分析
Hlog的相关处理流程：在对hbase中数据进行更新操作put/delete/append/increment操作时，记录操作日志供日志重播的相关处理。Hlog的写入通过regionserver实例生成时生成的FSLog为的实例。通过LogRoller线程定期去检查并删除过期的日志文件。定期检查的时间间隔通过hbase.regionserver.logroll.period进行配置
2014-04-15 17:51:43
1444
hbase put 流程分析regionserver端
RegionServer端put数据流程分析: client端通过MultiServerCallable.call调用rs的rpc的multi方法。 regionServer实例ClientProtos.ClientService.BlockingInterface接口。 public MultiResponse multi(finalRpcC...
2014-04-15 13:34:12
204
原创 hbase put regionserver处理分析
RegionServer端put数据流程分析:client端通过MultiServerCallable.call调用rs的rpc的multi方法。regionServer实例ClientProtos.ClientService.BlockingInterface接口。publicMultiResponsemulti(finalRpcControllerrpc
2014-04-15 13:24:43
1284
5
hbase put 流程分析client端
数据写入(Put)处理流程分析:Put通过生成一个HTable实例,并调用其put方法时，的执行流程，此部分分析分为client与regionserver两个部分，client端:Htable.put-->doPut,如果是put一个list时，会迭代调用doPutprivatevoiddoPut(Put put) throws InterruptedIOExcept...
2014-04-14 16:19:57
154
原创 HBase put操作client端分析
数据写入(Put)处理流程分析:Put通过生成一个HTable实例,并调用其put方法时，的执行流程，此部分分析分为client与regionserver两个部分，client端:Htable.put-->doPut,如果是put一个list时，会迭代调用doPutprivatevoiddoPut(Putput)throwsInterruptedIOException,
2014-04-14 16:15:46
3541
日志重播分析
日志重播分析 Hbase的日志重播分为启动时的日志重播与rs下线时的日志重播操作。 通过hbase.master.distributed.log.replay来控制日志的split是在region的reopen前执行还是reopen后执行 如果是true表示在reopen后执行,否则相反 Rs下线时的日志重播分析 master监听下线...
2014-04-13 16:42:55
275
原创 日志重播分析
日志重播分析Hbase的日志重播分为启动时的日志重播与rs下线时的日志重播操作。通过hbase.master.distributed.log.replay来控制日志的split是在region的reopen前执行还是reopen后执行如果是true表示在reopen后执行,否则相反Rs下线时的日志重播分析master监听下线master通过RegionServe
2014-04-13 16:41:51
1891
hbase region分配，RS下线处理
RS下线的regionassign上面在RS启动部分已经提到过,RS在zk中的地址注册为SESSION过期自动清理的路径(ephemeral)。在master中通过RegionServerTracker对rs进行监控，当rs在zk的session过期时间内没有向zk发送心跳。表示rs已经下线,会触发RegionServerTracker.nodeDeletedpublicvo...
2014-04-12 20:56:12
129
region assign 流程补充说明
region assign的流程补充Master端:1.regionserver下线，zk中注册的rs节点下的server子路径session过期被删除, master触发RegionServerTracker.nodeDeleted监听事件,并调用ServerManager.expireServer2.把下线的server添加到deadServers列表中,同时从onlineServers列表...
2014-04-12 20:54:28
122
原创 HMBASE的REGION分配
HMBASE的REGION分配Region assign分为meta的分配与userregion assign,同时包含hbase启动时与rs下线,因此从4个方面来说明regionassign启动时的metaregion assign针对master启动时的补充说明：Hmaster.run.finishInitialization方法中：得到WALs目录下所有子目录,如果...
2014-04-12 20:53:10
179
原创 HBASE REGIONSERVER启动过程
HBASEHRegionServer启动分析regionserver的启动入口是HRegionServer.main方法生成HRegionServercommandLine实例,并执行doMain方法,此方法中通过ToolRunner.run去调用HRegionServercommandLine.run方法a.判断传入参数是start还是stop，如果是start,调用HRe...
2014-04-12 20:49:47
251
hbase0.96.1 hmaster启动过程分析
HBASE HMASTER启动分析Hbase debug配置：找到hbase这个shell脚本文件，在对应的位置，如我要debugmaster,elif[ "$COMMAND" = "master" ] ; thenCLASS='org.apache.hadoop.hbase.master.HMaster'if[ "$1" != "stop" ] && [ ...
2014-04-12 20:45:30
137
原创 region assign 流程补充说明
region assign的流程补充Master端:1.regionserver下线，zk中注册的rs节点下的server子路径session过期被删除, master触发RegionServerTracker.nodeDeleted监听事件,并调用ServerManager.expireServer2.把下线的server添加到deadServers列表中,同时从onl
2014-04-11 15:04:35
1467
原创 hbase region分配，RS下线处理
RS下线的regionassign上面在RS启动部分已经提到过,RS在zk中的地址注册为SESSION过期自动清理的路径(ephemeral)。在master中通过RegionServerTracker对rs进行监控，当rs在zk的session过期时间内没有向zk发送心跳。表示rs已经下线,会触发RegionServerTracker.nodeDeletedpublicvoidn
2014-04-03 11:49:57
2297
原创 HMBASE的REGION分配
HMBASE的REGION分配Region assign分为meta的分配与userregion assign,同时包含hbase启动时与rs下线,因此从4个方面来说明regionassign启动时的metaregion assign针对master启动时的补充说明：Hmaster.run.finishInitialization方法中：得到WALs目录下所有子目录,如果W
2014-04-02 18:29:58
2186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人