核心功能
- 启发式算法是基于规则的,且是插件式、可配置的,具有良好扩展性,能分析各种各样的框架
- 创造性的和Azkaban调度器集成,并且支持任意一种Hadoop任务调度器,例如Oozie
- 能自动统计所有历史任务的性能
- 能实现Job级别的任务流性能比较
- 对Hadoop和Spark任务能进行性能诊断
- 具有良好的扩展性,能支持新种类的任务、应用和调度器
- 提供REST API,用户能够通过API获取所有信息
首页
Dr.Elephant启动后,首页如下:
任务详情
重点看下任务详情,这个是日常测试过程中非常关注的部分:
点击一个任务,可以进入任务详情页面。
在任务详情,可以看到如下信息:
- 任务追踪链(Jobtracker):这个链接指向任务的追踪页面。在这个页面上,可以看到任务的详细信息、日志、map和reduce的task信息。
- 任务执行链(Job execution):这个链接指向任务在调度器中的执行页面。例如,在Azkaban调度器上,指向这个任务的执行链接。
- 任务定义(Job definition):这个链接指向任务在调度器中的定义页面。例如,在Azkaban调度器上,指向这个任务的属性页面。
- 任务流执行链(Flow execution):这个链接指向整个任务流的执行页面。例如,在Azkaban调度器上,指向这个任务流的执行页面。
- 任务流定义(Flow definition):同前面的任务定义(Job definition),这个链接指向任务流的定义页面。
- 任务历史(Job history):这个链接指向任务历史页面。
- 任务流历史(Flow history):这个链接指向任务流历史页。
任务等级
Dr.Elephant提供了5个等级待优化的迫切性降序为:CRITICAL > SEVERE > MODERATE > LOW > NONE
下表为详情说明:
等级 | 描述 |
---|---|
RITICAL | 任务需要迫切的进行优化 |
SEVERE | 任务存在很大的可优化空间 |
MODERATE | 任务有待进一步优化 |
LOW | 任务存在很小的可优化空间 |
NONE | 任务很安全,不需要优化 |
总结
对Dr.Elephant的学习有待进一步花时间,当前先记录这些,后续进一步学习和完善。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!