大数据教程（8.3）wordcount程序运行过程的解析

2019独角兽企业重金招聘Python工程师标准>>>

        上一篇博客分享了wordcount的源码编写、原理实现，本节将对wordcount在hadoop内部运行过程进行解析。

        运行流程图如下：

 

 

        上图中说明：mr appmaster启动后，会根据任务分配规则进行任务的启动，也就是map task和reduce task的启动都由它来进行协调。当然在启动map task和reduce task时还有很多判断条件，如数据片的机器距离、繁忙程度等等。

        最后寄语，以上是博主本次文章的全部内容，如果大家觉得博主的文章还不错，请点赞；如果您对博主其它服务器大数据技术或者博主本人感兴趣，请关注博主博客，并且欢迎随时跟博主沟通交流。

 

转载于:https://my.oschina.net/u/2371923/blog/2878405