Dr. Elephant
DerekJiang
https://www.linkedin.com/in/nanj1ang
展开
-
Dr.Elephant Rest API
有的情况下,用户可能不能访问Dr.Elephant的UI界面,但是需要和Dr.Elephant进行交互来获得Dr.Elephant的一些分析结果。Dr.Elephant提供了Rest API来满足用户的这个需求。 根据ID获得应用信息 根据任务的ID,可以获得任务的详细信息以及启发式算法的分析结果。转载 2016-05-09 02:37:18 · 3199 阅读 · 0 评论 -
Dr.Elephant启发式算法指南
这篇文章介绍了Dr.Elephant中默认提供的对于MapReduce任务和Spark任务的启发式算法。分别介绍了每个启发式算法的一些概念以及计算方法。转载 2016-05-06 03:18:08 · 4412 阅读 · 0 评论 -
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
转载自:http://developer.51cto.com/art/201604/509314.htm?utm_source=tuicool&utm_medium=referral-----------------------------我们今天很荣幸的宣布项目Dr.Elephant的开源,这是一个强大的工具,可以帮助Hadoop和Spark用户理解、分析、以及改善系统的性能。在转载 2016-05-05 04:18:36 · 4918 阅读 · 0 评论 -
Dr.Elephant部署指南
收录自:http://blog.csdn.net/qsc0624/article/details/51274559----------------------系统环境要求Dr.Elephant通过Yarn的资源管理器和历史任务服务来获取任务的详细信息。Dr.Elephant对历史任务进行分析,然后把分析结果保存到后台的数据库中,Dr.Elephant默认使用转载 2016-05-05 02:33:36 · 3676 阅读 · 0 评论 -
Dr.Elephant简介
收录自http://blog.csdn.net/qsc0624/article/details/51249020---------Dr.Elephant被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具,它能够自动收集Hadoop平台所有的度量标准,并对收集的数据进行分析,并将分析结果以一种简单且易于理解的形式展示出来。Dr.Elephant的设计目的是转载 2016-05-05 02:25:20 · 3796 阅读 · 0 评论 -
Dr.Elephant用户指南
收录自:http://blog.csdn.net/qsc0624/article/details/51258955--------------------------这篇文章介绍怎么样使用Dr.Elephant来进行任务分析。UI首页Dr.Elephant启动后,首页如下:集群统计信息首页的灰色部分包含了最新的集群信息。这转载 2016-05-05 02:29:07 · 3736 阅读 · 0 评论 -
Dr.Elephant开发者指南
收录自:http://blog.csdn.net/qsc0624/article/details/51274145------------------------创建Dr.Elephant项目获取源代码从Github仓库中获取代码,dr-elephant。编译代码Dr.Elephant项目基于Play框架开发,所以开发Dr.Eleph转载 2016-05-05 02:32:34 · 5579 阅读 · 0 评论 -
综述 - 【Dr.Elephant源码分析系列文章-1】
转自:http://blog.csdn.net/everstring_china/article/details/51504777--------------Dr.Elephant是LinkedIn于2016年4月开源的一个Hadoop平台性能调优工具。我们可以从这个链接获取源码:https://github.com/linkedin/dr-elephant。Dr.Elep转载 2016-05-26 10:17:34 · 4003 阅读 · 0 评论 -
Dr.Elephant 官方文档翻译汇总
Dr.Elephent 官方文档翻译汇总转载 2016-05-13 01:03:38 · 4114 阅读 · 0 评论 -
Dr.Elephant FAQ 常见问题
这篇文章列举了一些Dr.Elephant常见的问题,以及一些建议来帮助我们解决实际遇到的问题。转载 2016-05-12 15:33:08 · 4122 阅读 · 0 评论 -
Dr.Elephant 部署启动详细流程
转载自:http://blog.csdn.net/qsc0624/article/details/51335070------------------最近尝试在测试环境安装部署了Dr.Elephant,花了不少时间,碰到一些问题。借助于官方文档和LinedIn akshayrai大神的帮助,最终成功启动Dr.Elephant。鉴于国内还没有类似的文章详细介绍Dr.Elephant的部署启动转载 2016-05-07 01:54:08 · 4974 阅读 · 0 评论 -
Dr.Elephant启动过程问题汇总
转载自:http://blog.csdn.net/qsc0624/article/details/51335607---------------------------在首次启动Dr.Elephant时,因为配置不当或者环境因素可能会导致启动失败。当启动失败后,我们可以从Dr.Elephant的日志文件(默认的启动日志是dr.log)中查看启动过程日志,找到Error和Except转载 2016-05-07 01:56:26 · 3646 阅读 · 0 评论 -
用Dr.Elephant对于Hadoop任务进行优化建议
使用Dr.Elephant来分析我们的任务,可以知道有哪些地方可以进行优化。 加速你的任务流程 对于特定的任务,最好有特定的参数配置。对于很多的应用场景来说,默认的任务配置并不能保证每个任务都有最好的性能。尽管对这些任务进行调优会花费一些时间,但是这些调优带来的性能提升是非常可观的。转载 2016-05-09 02:35:34 · 4361 阅读 · 0 评论 -
核心流程 - 【Dr.Elephant源码分析系列文章-2】
转自:http://blog.csdn.net/qsc0624/article/details/51594141---------------关于如何开始代码部分的分析,我思考了许久。原因如下:Dr.Elephant的核心代码不多,截止到我读代码时,一共1万行左右。核心代码部分比较集中,可以通过一篇文章来分析完。Dr.Elephant的扩展性非常好,在介绍源码时,扩展性也是非常值得介绍的。转载 2016-07-06 09:37:35 · 3250 阅读 · 0 评论