- 博客(25)
- 收藏
- 关注
RSS订阅原创 YARN通信协议
YARN包括三种RPC通信协议：Client-RM Protocol、AM-RM Protocol、AM-NM Protocol。Client-RM ProtocolApplicationClientProtocol（用于Client与RM之间）。client通过该协议可实现 提交Application到RM上、查询Application运行状态、杀死Application等。具体接口如下：...
2019-09-23 21:10:55
246
原创 YARN通信协议
YARN包括三种RPC通信协议：Client-RM Protocol、AM-RM Protocol、AM-NM Protocol。ApplicationClientProtocol（用于Client与RM之间）。client通过该协议可实现 提交Application到RM上、查询Application运行状态、杀死Application等。具体接口如下：接口 说明 A...
2019-09-23 20:49:56
519
原创 Delay scheduling学习总结
目标在多路复用的集群中（多租户并行提交作业），在对公平调度冲击最小的前提下，尽量提高job的数据本地性。hadoop的默认调度策略hadoop1默认采用FIFO调度。FIFO采用队列方式将一个一个job任务按照时间先后顺序进行服务。比如排在最前面的job需要若干maptask和若干reducetask，当发现有空闲的服务器节点就分配给这个job，直到job执行完毕。当scheduler接收到...
2019-07-04 23:36:54
829
原创 YARN论文推荐
1、最大最小公平调度算法：https://www.ece.rutgers.edu/~marsic/Teaching/CCN/minmax-fairsh.html2、延迟调度：Delay Scheduling: A Simple Technique for Achieving Locality and Fairness in Cluster Scheduling...
2019-07-01 18:19:42
366
原创 Spark论文推荐
1.Zaharia M, Chowdhury M, Franklin M J, et al. Spark: cluster computing with working sets[C]// Usenix Conference on Hot Topics in Cloud Computing. USENIX Association, 2010:10-10.2.Zaharia M, Chowdhur...
2019-06-12 14:41:09
1337
原创 MapReduce的分布式缓存
官网文档http://hadoop.apache.org/docs/r2.6.5/hadoop-mapreduce-client/hadoop-mapreduce-client-core/DistributedCacheDeploy.html作用（1）一个集群中运行多版本mr job（2）mr框架版本滚动升级（3）job启动速度提升...
2019-05-11 00:56:43
250
原创 HDFS源码剖析-HDFS的鉴权
1 HDFS权限控制和ACL官网文档：http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html中文翻译：https://blog.csdn.net/shubingzhuoxue/article/details/50072271acl涉及的参数：dfs....
2019-04-22 18:32:25
1235
原创 YARN源码分析：RM子服务初始化
RM的子服务列表RMApplicationHistoryWriterAsyncDispatcherAdminServiceRMActiveServicesRMSecretManagerServiceContainerAllocationExpirerAMLivelinessMonitorRMNodeLabelsManagerRMStateStoreRMApplicationHi...
2019-04-08 23:52:09
801
原创 MapReduce2源码分析：mapreduce job提交过程
从wordcount代码开始要分析mr job的提交过程，首先需要一个job的代码，本文选用hadoop2.7.1版本自带的wordcount例子程序为分析对象，现将代码贴出如下：public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text...
2019-04-02 15:46:12
387
原创 hdfs client分析：hdfs dfs -get下载文件
上接前两篇，再来分析下下载文件的过程hdfs dfs -get 或 hdfs dfs -copyToLocal先找到命令get和copyToLocal对应的类public static void registerCommands(CommandFactory factory) { factory.registerCommands(AclCommands.class); fact...
2019-03-29 18:26:57
9513
原创 hdfs client分析：hdfs dfs -mkdir
hdfs client分析：hdfs dfs -ls这一篇重点分析了hdfs client的整体执行流程，但是没有详细介绍命令调用和返回的过程，这篇通过mkdir命令来做个补充。命令：hdfs dfs -mkdir代码分析直接从Command类的run方法开始：public int run(String...argv) { LinkedList<String> arg...
2019-03-27 20:43:01
2518
原创 hdfs client分析：hdfs dfs -ls
shell脚本分析实例命令：hdfs dfs -ls对应脚本文件：bin/hdfs对应具体脚本内容：COMMAND=$1shiftelif [ "$COMMAND" = "dfs" ] ; then CLASS=org.apache.hadoop.fs.FsShell最终执行的命令：exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLAS...
2019-03-27 19:45:35
2420
原创 YARN源码剖析：NM子服务启动
当NM的服务初始化完成后，就会进入启动阶段@Override protected void serviceStart() throws Exception { try { doSecureLogin(); } catch (IOException e) { throw new YarnRuntimeException("Failed NodeManag...
2019-03-27 15:40:47
672
原创 YARN源码剖析：NM中的进程资源使用计算器
进程资源使用计算器有两种实现：windows和linux下。这里只分析linux下基于/procfs的资源使用计算器。该类通过统计/proc/目录下的文件内容来统计进程资源使用情况，涉及到的文件列表如下：/proc/[pid]/stat 进程的cpu时间信息/proc/[pid]/cmdline 进程执行的命令/proc/[pid]/smaps 进程的mem信息相关参数：contai...
2019-03-26 21:00:13
190
原创 YARN源码剖析：NM子服务初始化
NM初始化过程中涉及到的子service列表DeletionService 文件清理服务NodeHealthCheckerService 节点健康检查服务NodeResourceMonitor 节点资源监控服务ContainerManager 容器管理服务WebServer web服务AsyncDispatcher 事件分发器NodeStatusUpdater 节点状态更新服务...
2019-03-26 12:12:05
858
原创 YARN源码剖析：NM之ContainerExecutor
ContainerExecutor的继承关系ContainerExecutor的实例化ContainerExecutor的实例化是在NM初始化方法serviceInit()中完成的，通过配置参数yarn.nodemanager.container-executor.class 来配置使用哪种ContainerExecutor，默认使用DefaultContainerExecutor。如下：...
2019-03-23 22:07:52
315
原创 YARN源码剖析：NM启动过程
NodeManager.main()整体流程public static void main(String[] args) throws IOException { //注册UncaughtExceptionHandler Thread.setDefaultUncaughtExceptionHandler(new YarnUncaughtExceptionHandler());...
2019-03-19 00:35:00
357
原创 YARN源码剖析：RM启动过程
org.apache.hadoop.yarn.server.resourcemanager.ResourceManager类main()分析public static void main(String argv[]) { //为主线程注册一个UncaughtException处理器，设置在线程因未捕获异常而突 //然终止时调用的默认处理程序 Thread.setDefau...
2019-03-18 17:28:54
552
原创 分布式一致性算法Raft
Raft基础节点角色一个Raft集群包含多个节点，通常是5个，可以容忍2个节点失效。在任何时刻，每一个服务器节点都处于三个状态之一：leader、follower、candidate。在正常情况下，集群中只有一个leader并且其他节点全都是follower。follower都是被动的：他们不会发送任何请求，只是简单的响应来自leader和candidate的请求。leader处理所以的...
2019-03-13 00:35:25
428
原创 分布式事务2PC协议
原文：https://en.wikipedia.org/wiki/Two-phase_commit_protocol什么是2PC在事务处理，数据库，计算机网络中，两阶段提交（2pc）是一种原子提交协议。它是一种分布式算法，协调参与分布式原子事务的所有进程，决定是提交事务还是中止(回滚)事务(它是一种协商一致性协议)。该协议即使在许多临时系统故障(包括进程、网络节点、通信等故障)的情况下也能达到...
2019-03-10 00:06:46
165
原创 分布式系统BASE理论
什么是BASE理论eBay的架构师Dan Pritchett源于对大规模分布式系统的实践总结，在ACM上发表文章提出BASE理论，BASE理论是对CAP理论的延伸，核心思想是即使无法做到强一致性（Strong Consistency，CAP的一致性就是强一致性），但应用可以采用适合的方式达到最终一致性（Eventual Consitency）。BASE是指基本可用（Basically Avai...
2019-03-06 15:54:10
195
原创 分布式系统CAP理论
定理出处：http://www.julianbrowne.com/article/viewer/brewers-cap-theorem中文翻译：http://blog.sina.com.cn/s/blog_493a8455010161hi.html什么是CAP理论CAP定理是分布式系统中的一个基本定理，它指出任何分布式系统具有以下三个特性且三个特性不能同时满足：ConsistencyAv...
2019-03-05 16:42:11
141
原创 数据库事务ACID
什么是数据库事务事务在当今的数据库应用系统中无处不在，即使在高并发环境下也可以提供数据的完整性。在数据库中事务是由一组SQL语句组成的逻辑处理单元（即一个事务是一个包含所有读/写操作成功的集合）。事务的特性事务具有以下4个属性，通常简称为事务的ACID属性：A（Atomic）原子性C（Consistent）一致性I（Isolated）隔离性D（Durable）持久性原子性原子性...
2019-02-23 21:59:42
96
原创 YARN源码剖析：RM启动脚本
文章目录RM启动命令yarn-daemon.sh分析/bin/yarn分析RM启动命令$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanageryarn-daemon.sh分析case $startStop in (start) [ -w "$YARN_PID_D...
2019-01-30 00:17:52
296
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人