网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
往下走，点击下一步
写完一行后要写下一行，往下走，点击下一步
又回到map里面了，在这里强行进入
到这里出去
在这里强行进入
到这里在出去
到这里在点下一步，而不是强行进入
又回到了这里context.write(outK, outV);要一行一行读入，因为我的输入文件特别小，所以达不到环形缓冲区的最大溢写条件，则会将输入文件里的数据全读完再溢写
1 13736230513 192.196.100.1 www.baidu.com 2481 24681 200
2 13846544121 192.196.100.2 264 0 200
3 13956435636 192.196.100.3 132 1512 200
4 13966251146 192.168.100.1 240 0 404
5 18271575951 192.168.100.2 www.baidu.com 1527 2106 200
6 84188413 192.168.100.3 www.baidu.com 4116 1432 200
7 13590439668 192.168.100.4 1116 954 200
8 15910133277 192.168.100.5 www.hao123.com 3156 2936 200
9 13729199489 192.168.100.6 240 0 200
10 13630577991 192.168.100.7 www.shouhu.com 6960 690 200
11 15043685818 192.168.100.8 www.baidu.com 3659 3538 200
12 15959002129 192.168.100.9 www.baidu.com 1938 180 500
13 13560439638 192.168.100.10 918 4938 200
14 13470253144 192.168.100.11 180 180 200
15 13682846555 192.168.100.12 www.qq.com 1938 2910 200
16 13992314666 192.168.100.13 www.gaga.com 3008 3720 200
17 13509468723 192.168.100.14 www.qinghua.com 7335 110349 404
18 18390173782 192.168.100.15 www.sogou.com 9531 2412 200
19 13975057813 192.168.100.16 www.baidu.com 11058 48243 200
20 13768778790 192.168.100.17 120 120 200
21 13568436656 192.168.100.18 www.alibaba.com 2481 24681 200
22 13568436656 192.168.100.19 1116 954 200
这个是我的数据
全速运行，让这里的outK出现最后一个数据13568436656，因为有两个，所以要看清
最后一条数据，outK的颜色会变灰，大家可以根据这个判断一下
在这里强行进入
在这里强行进入
在这里强行进入
在这里强行进入
然后出来
在这里强行进入
又进来这个环形缓冲区了，这是最后一遍了，和上面的过程一样，就直接跳过了
一直下一步，他不会进入map方法，而是到cleanup里面了
然后下一步，多次下一步，到达下图位置
在这里打上断点
强行进入该方法，查看在close前都做了些什么
在这两处打上断点，this.collector.flush();这个是将数据刷到磁盘上，我们进去看看他是如何刷到磁盘上的，点击强行进入
进来之后，他是要进行快排的，我们往下找看看有没有快排，一直点下一步，直到下图位置
在这里打上断点
这里是快排和溢写
强行进入
this.sorter.sort(this, mstart, mend, this.reporter);在这里打上断点，这里是快排的逻辑，一直下一步，到下图位置
到这一步强行进入
第一次强行进入会进入到getMaxDepth(r - p)这里面
然后退出来
再次强行进入
下面这些就是快排的逻辑
简单看一下里面的逻辑，然后退出来
然后再继续往下走
到这里相当于排完序了，然后继续下一步，该溢写了，溢写的话我这个有5个分区，只会溢写出一个文件，他是有索引来标记是哪个分区的，然后我们看一个文件D:\tmp\hadoop-73631\mapred\local\localRunner\73631\jobcache\job_local837257542_0001\attempt_local837257542_0001_m_000000_0\output，这个你看你自己的就行在下图的位置
从此处打开有一个文件
打开里面是一个空的文件，然后继续下一步
从这里可以看出他是根据索引快排，没有动原始的数据，然后一直下一步，直到下图的位置
到达这个位置，0号分区已经写完了，再点击下一步则开始写1号分区
到这里，我们去看看那个文件里面有没有内容
里面已经有内容了
在这里打上断点，开始全速运行，执行到4就停止执行，看下图
一直进行下一步到下图的位置
这里将他解锁
提前在这里打断点
溢写完数据了，这里要进行归并排序，强行进入看看，然后下一步到如下位置
这里开始遍历溢写文件
由于我的数据少，他生成了一个文件，他也会象征性的去循环一下，继续下一步到如下位置
如果只有一个溢写文件，则就是最后的输出文件，然后一直下一步，到如下位置
则排序结束
则这里会多出一个文件，这个index文件则是告诉reducemask数据存放在file.out的位置，然后继续下一步，到如下的位置
到这里MapTask阶段就结束了，到这里先别动，看下面如何打断点，在继续下一步
=================== MapTask ===================
context.write(k, NullWritable.get()); //自定义的map方法的写出，进入
output.write(key, value);
//MapTask727行，收集方法，进入两次
collector.collect(key, value,partitioner.getPartition(key, value, partitions));
HashPartitioner(); //默认分区器
collect() //MapTask1082行 map端所有的kv全部写出后会走下面的close方法
close() //MapTask732行
collector.flush() // 溢出刷写方法，MapTask735行，提前打个断点，进入
sortAndSpill() //溢写排序，MapTask1505行，进入
sorter.sort() QuickSort //溢写排序方法，MapTask1625行，进入
mergeParts(); //合并文件，MapTask1527行，进入
collector.close(); //MapTask739行,收集器关闭,即将进入ReduceTask
13.5.4.2ReduceTask源码解析流程
搜索这个，然后选择第一个
然后ctrl+f搜索isMapOrReduce这个，然后再这行打上断点，然后再继续下一步，一直到如下位置
这里一定要提前打上断点，否则抓不到这个位置
这里上来就是3个阶段，copy，sort，reduce，会走5遍，因为有5个分区，然后进行下一步操作，一直到如下位置
在此处打上断点，首先强行进入会进入到this.getJobID()里面，然后退出来，再次强行进入，到如下图
在这里打上断点，害怕跑偏，然后下一步，直到下图位置
这里是新旧API的兼容问题，使用新的API继续下一步，到如下位置
运行到Path outputPath = FileOutputFormat.getOutputPath(this.conf);这个位置，鼠标放到outputFormat这个上面，默认情况下，可以看到使用的是TextOutputFormat
然后退出来
然后一直下一步，到如下位置
在 shuffleConsumerPlugin.init(shuffleContext);和this.sortPhase.complete();这两个地方打上断点
然后强行进入这个方法，看他初始化了那些内容
进来后在此处打上断点，当他是new对象的时候要进入里面在里面打上断点，如下图
这样就是最靠谱的
然后退出来
一直下一步到红框处
点击下一步
进入到这里
这里是获取有多少个MapTask，以此ReduceTask来拉取的时候知道需要拉几个
然后退出来
这里也需要打上断点
然后走到这个位置，强行进入
在进入这个里面打断点
在这里打上断点，然后点上方返回
然后点下一步
前面是各种初始化，因为马上要拉取数据了，而数据要放在内存上，内存不够了放磁盘上，一直点下一步，到如下图位置
先准备好内存和磁盘，初始化工作做好，在进行拉取数据，然后一直点下一步就行
在这里rIter = shuffleConsumerPlugin.run();打上断点，然后强行进入
在这三处打上断点，然后一直下一步，到如下图位置
从名字上可以看出来，这步是ReduceTask从MapTask上抓取数据，然后继续下一步，到如下图位置
到这里就抓取数据完毕了，然后继续往下走，到如下图位置
copy结束，当前阶段切换成SORT阶段，然后继续往下走，到如下图位置
先在下面红框打上断点，sort结束了，当前阶段切换成REDUCE阶段，然后继续往下走，到如下图位置
到这个地方，强行进入
然后继续往下走，到如下图位置
提前在此处打上断点，强行进入
进入到这里了，这里是初始化，关闭，正常的reducer的聚合
这里要提前打断点，然后继续往下走，到如下图位置
到这里是将相同的key往外写，（这里我的例子是相同的手机号往外写总的流量），然后强行进入
强行进入
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
强行进入
[外链图片转存中…(img-BIf3ipSH-1715673762042)]
[外链图片转存中…(img-prDoiJc6-1715673762042)]
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2793
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
