YARN
资源管理
无香菜不欢
多读书,少说话
到点睡觉,按时吃饭。
展开
-
MapReduce如何从Map端获取数据源的路径
在Mapreduce流程中,在Map端常常遇到需要根据来自不同数据源的<key,value>,进行不同的操作。因此,经常需要获取到<key,value>的数据来源。 获取文件名的大致流程为:Context(map函数里) → InputSplit → FileSplit → Path → String(file name)。 Context Context是Mapper的内部类,在Map或Reduce任务中跟踪task的状态,Context在Map端执行时携带上下文信息。可理解原创 2020-06-05 22:10:36 · 738 阅读 · 0 评论 -
Yarn架构与流程浅析
Yarn介绍 MapReduce 早期的 JobTracker/TaskTracker 机制在可扩展性,内存消耗,线程模型,可靠性和性能存在较大的缺陷, 为从根本上解决框架的性能瓶颈,从 0.23.0 版本开始,Hadoop 的 MapReduce 框架完全重构,新的 Hadoop MapReduce 框架命名为Yarn。 YARN的最基本思想是将JobTracker的两个主要职责:资源管理...原创 2019-09-18 20:12:50 · 366 阅读 · 1 评论