Hadoop之MapReduce03【wc案例流程分析】

=======================================================================

1.当客户端提交submit的时候客户端程序会根据我们输入的/wordcount/input地址找到需要统计的数据，根据我们的配置信息得到任务规划文件

2.将任务规划文件上传到hdfs指定的位置。

hadoop fs -ls /tmp/hadoop-yarn/staging/root/.staging/job_1554281786018_0002

3.客户端将任务提交到yarn中，ResourceManager根据规划文件中指定的切片规则通过mr appmaster在nodeManager上启动对应的MapperTask。

4.每个MapperTask根据指定的切片任务去加载数据，通过InputFormat的实现一行一行的读取数据，每读取一行会调用我们自定义的map方法处理这行的信息

5.map阶段输出的数据会被outputCollector采集。

6.outputCollector中的数据通过partitionner对数据做分区操作。将不同的数据分配到不同的分区中。
7.Reduce阶段根据配置会创建对应的ReduceTask来汇总数据(分组排序)。
8.将key相同的数据加载到自定义的reduce方法中，通过OutputFormat输出汇总结果。
本文仅仅对流程做大概分析，并为涉及到yarn工作调度的细节。后面会详细介绍~

最后

既已说到spring cloud alibaba，那对于整个微服务架构，如果想要进一步地向上提升自己，到底应该掌握哪些核心技能呢？

就个人而言，对于整个微服务架构，像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等这些都是最最核心的知识，架构师必经之路！下图，是自绘的微服务架构路线体系大纲，如果有还不知道自己该掌握些啥技术的朋友，可根据小编手绘的大纲进行一个参考。

如果觉得图片不够清晰，也可来找小编分享原件的xmind文档！

且除此份微服务体系大纲外，我也有整理与其每个专题核心知识点对应的最强学习笔记：

• 出神入化——SpringCloudAlibaba.pdf

• SpringCloud微服务架构笔记（一）.pdf

• SpringCloud微服务架构笔记（二）.pdf

• SpringCloud微服务架构笔记（三）.pdf

• SpringCloud微服务架构笔记（四）.pdf

• Dubbo框架RPC实现原理.pdf

• Dubbo最新全面深度解读.pdf

• Spring Boot学习教程.pdf

• SpringBoo核心宝典.pdf

• 第一本Docker书-完整版.pdf

• 使用SpringCloud和Docker实战微服务.pdf

• K8S(kubernetes)学习指南.pdf

另外，如果不知道从何下手开始学习呢，小编这边也有对每个微服务的核心知识点手绘了其对应的知识架构体系大纲，不过全是导出的xmind文件，全部的源文件也都在此！

构体系大纲，不过全是导出的xmind文件，全部的源文件也都在此！

[外链图片转存中…(img-zaQjRnQk-1721134511001)]