Hadoop
jl2tina
无聊的人生无聊的我
展开
-
map-combine过程解
●read阶段:通过RecordReader从InputSplit分片中将数据解析成一个个key/value。 ●map阶段:将由RecordReader解析出的key/value交给map()方法处理,并生成一个个新的key/value。 ●collect阶段:将map()中新生成key/value由OutpCollector.collect()写入内存中的环形数据缓冲区。 ●spill阶段:当环形缓冲区达到一定阀值后,会将数据写到本地磁盘上,生成一个spill文件。在写文件之前,会先将数据进行一次...原创 2020-08-03 18:15:51 · 673 阅读 · 0 评论 -
Hadoop的三种调度器
Yarn的默认调度器、调度器分类、以及他们之间的区别 1)Hadoop调度器重要分为三类: FIFO、Capacity Scheduler(容量调度器)和Fair Sceduler(公平调度器)。 Hadoop2.7.2默认的资源调度器是容量调度器 2)区别: FIFO调度器:先进先出,同一时间队列中只有一个任务在执行。 容量调度器:多队列;每个队列内部先进先出,同一时间队列中只有一个任务在执行。队列的并行度为队列的个数。 公平调度器:多队列;每个队列内部按照..原创 2020-08-03 16:09:26 · 2225 阅读 · 0 评论