2024年大数据测试学习笔记之监控工具Dr(2)

Dr.Elephant周期性的从Yarn的Resource Manager获取所有最近成功和失败的应用程序列表。

从Job历史列表中获取每个应用的元数据：counter、配置、任务数据。

一旦它拥有所有的元数据，Dr.Elephant便运行一组启发式(heuristics)，并产生对单个启发式和任务整体性能的诊断报告。

然后，报告中用五个严重性级别来标记不同的结果，以表明潜在的性能问题。

核心功能

• 启发式算法是基于规则的，且是插件式、可配置的，具有良好扩展性，能分析各种各样的框架
• 创造性的和Azkaban调度器集成，并且支持任意一种Hadoop任务调度器，例如Oozie
• 能自动统计所有历史任务的性能
• 能实现Job级别的任务流性能比较
• 对Hadoop和Spark任务能进行性能诊断
• 具有良好的扩展性，能支持新种类的任务、应用和调度器
• 提供REST API，用户能够通过API获取所有信息

首页

Dr.Elephant启动后，首页如下：

任务详情

重点看下任务详情，这个是日常测试过程中非常关注的部分:

点击一个任务，可以进入任务详情页面。

在任务详情，可以看到如下信息：

• 任务追踪链（Jobtracker）：这个链接指向任务的追踪页面。在这个页面上，可以看到任务的详细信息、日志、map和reduce的task信息。
• 任务执行链（Job execution）：这个链接指向任务在调度器中的执行页面。例如，在Azkaban调度器上，指向这个任务的执行链接。
• 任务定义（Job definition）：这个链接指向任务在调度器中的定义页面。例如，在Azkaban调度器上，指向这个任务的属性页面。
• 任务流执行链（Flow execution）：这个链接指向整个任务流的执行页面。例如，在Azkaban调度器上，指向这个任务流的执行页面。
• 任务流定义（Flow definition）：同前面的任务定义（Job definition），这个链接指向任务流的定义页面。
• 任务历史（Job history）：这个链接指向任务历史页面。
• 任务流历史（Flow history）：这个链接指向任务流历史页。

任务等级

Dr.Elephant提供了5个等级待优化的迫切性降序为：CRITICAL > SEVERE > MODERATE > LOW > NONE

下表为详情说明：

等级	描述
RITICAL	任务需要迫切的进行优化
SEVERE	任务存在很大的可优化空间
MODERATE	任务有待进一步优化
LOW	任务存在很小的可优化空间
NONE	任务很安全，不需要优化

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！