- 博客(6)
- 资源 (5)
- 收藏
- 关注
原创 YARN源码分析之ApplicationMaster启动流程之NM端
上一篇介绍了RMAppMaster在RM端的启动流程,本篇继续介绍下在nodemanager端的启动流程。接着上篇的逻辑继续看下node端的startContainers代码:public StartContainersResponse startContainers(StartContainersRequest requests) throws YarnException,
2017-07-12 09:52:02
1127
原创 YARN源码分析之ApplicationMaster启动流程之RM端
任何一个计算框架或者说一个服务要运行在yarn上,都需要一个master来对job进行管理,这个master就是ApplicationMaster。ApplicationMaster是一个job的大脑,下面就以MapReduce为例,介绍下ApplicationMaster的启动流程。首先client向RM提交一个application请求,RM创建一个application,然后再创建一个appa
2017-07-12 00:02:34
830
原创 Docker初体验
最近接触了点docker相关的技术,在此小记下。安装docker有多系统现在默认装了docker,可以运行docker启动命令尝试下
2017-06-27 23:34:28
366
原创 unclean.leader.election.enable引起的outOfRanger
前段时间采集平台的数据量发生异常,对数据进行排查发现hdfs上存在历史数据重复消费的问题。 采集平台是由TailDirSource+KafkaChannel将数据写入kafka,然后通过kafkaChannel+HDFSSink将数据写入hdfs 整个采集平台可能出现的故障的地方如下:taildir重复采集了log taildir调用kafkachannel向kafka写数据时进行了回滚
2017-06-24 17:10:03
1906
原创 YARN源码分析之ApplicationMaster分配策略
一次和朋友的谈话中涉及到ApplicationMaster的container分配策略是什么,我映像中是随机分配的,但他说是根据各节点空闲资源来分配的。 之前看代码的时候也没注意这块的逻辑,既然现在有了疑惑那就去代码里瞅瞅。个人站点地址:http://bigdatadecode.club/YARN源码分析之ApplicationMaster分配策略.html从MR的运行log中可以找到AM的con
2017-06-15 10:54:50
2944
1
原创 flume事务解析
在flume中事务是一个重要的概念,事务保证了数据的可用性。这里的事务有别于数据库中的事务,比事务在回滚时,可能会造成数据重复,所以flume保证的是每条数据最少发送一次,以此来保证数据不丢失。此篇从具体的数据流中分析事务,配置的数据流是taildir+kafkachannel,然后kafkachannel+hdfsSink。kafkachannel中维护了两个事务,分别是put事务和take事务。
2017-06-07 23:02:13
3232
操作系统处理机调度模拟
2011-05-12
操作系统之处理机调度
2011-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人