大数据开发要学会看yarn日志：Task容错机制，任务推测执行，计数器_yarn job 日志 task 日志

最新推荐文章于 2024-06-18 16:10:07 发布

阮康成

最新推荐文章于 2024-06-18 16:10:07 发布

阅读量610

点赞数 30

文章标签：大数据

本文链接：https://blog.csdn.net/2301_77110912/article/details/138246200

版权

本文介绍了大数据开发中如何解读YARN日志，特别是Task的容错机制和推测执行。讨论了map/reduce的failed和killed现象，Task Type与Attempt Type的区别，并详细阐述了Task容错机制的使用，包括任务实例失败的场景及任务的推测执行情况。此外，还提及了在实际开发中查看YARN日志的重要性。

摘要由CSDN通过智能技术生成

背景：yarn的web界面是所有大数据开发都会或多或少查看的，比如任务运行失败，任务运行缓慢，查看详细任务运行进度，详细报错排查，debug等。但是实际从反馈来看，很多大数据开发对yarn界面的日志查看并不深入，对一些常见指标并不熟悉。下面以Hive/MapRedcue任务为例。

1.Task容错机制原理与使用

1.1 map/reduce有failed和killed现象？

如下任务yarn界面很常见，比如reduce出现了2个failed,17killed，那么对我任务最终结果有没有影响呢?如果没有影响原因是啥呢？比如下面Task Type和 Attemp Type两个栏目都有map/reduce的状态和个数统计，两者的区别是什么？要想深入了解这些问题，就先要弄明白mapredcue/hive任务的Tast容错机制。

1.2 Task type与Attemp Type的区别

MapRecue/Hive 任务分成maptask和reducetask，每个类型的task的总数一般是根据数据量和参数配置决定，在任务起始阶段已经确定。yarn界面的Task Type统计的就是提交yarn时需要执行的task任务数量。而实际一个task允许尝试多次运行，每次运行尝试的实例就被称Task Attempt，也就是yarn任务日志界面Atte