Dr.Elephant的安装及使用

简介

参见LinkedIn开源Dr.elephant。

“大象医生”是LinkedIn推出的一款Hadoop和Spark性能调节工具。根据LinkedIn软件工程师Akshay Rai在其微博中的介绍，这款工具将更好的帮助用户理解、分析并提高他们的工作效率。

　大象医生像一个真正的医生一样诊断问题的根源，通过简单的流程图为用户剖析问题。此外，你还可以通过大象医生添加很多启发式的规则，使其变得更加贴合个人使用习惯。

　据悉，LinkedIn已经将大象医生应用于多个方面，比如监测流对集群的影响，理解流运行缓慢的原因，如何调整提高流量，与之前的任务比较执行情况，流程故障排查等。

---

安装要点

1. 安装 Play framework

最新的Play Framework的执行命令为activator，并而不是play。故需安装Play旧版，我安装的是2.2.6版。

2. 编译

报错

[warn]  [FAILED     ] org.mortbay.jetty#jetty;6.1.26!jetty.zip:  (0ms)
[warn] ==== local: tried
[warn]   /home/asin/SoftWare/play-2.2.6/repository/local/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip
[warn] ==== activator-launcher-local: tried
[warn]   file:/home/asin/.activator/repository/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip
[warn] ==== activator-local: tried
[warn]   file:/home/asin/SoftWare/activator-dist-1.3.10/repository/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip
[warn] ==== public: tried
[warn]   http://repo1.maven.org/maven2/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip
[warn] ==== typesafe-releases: tried
[warn]   http://repo.typesafe.com/typesafe/releases/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip
[warn] ==== typesafe-ivy-releasez: tried
[warn]   http://repo.typesafe.com/typesafe/ivy-releases/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip
[warn] ==== Typesafe Releases Repository: tried
[warn]   http://repo.typesafe.com/typesafe/releases/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip

手动下载包jetty.zip，放在/home/asin/SoftWare/play-2.2.6/repository/local/org.mortbay.jetty/jetty/6.1.26/zips/。

3. 部署

[[31merror[0m] play - Specified key was too long; max key length is 767 bytes [ERROR:1071, SQLSTATE:42000]
Oops, cannot start the server.
@7084jd09e: Database 'default' is in an inconsistent state!
    at play.api.db.evolutions.Evolutions$.checkEvolutionsState(Evolutions.scala:193)
    at play.api.db.evolutions.Evolutions$.applyScript(Evolutions.scala:277)

参照Dr.Elephant启动过程问题汇总 ，设置索引限制解决该问题。但注意首先将之前的数据库drelephant删掉重建。

4. 使用

启动hadoop后，运行示例作业，并没有在http://localhost:8080/界面看到任何作业记录。原来JobHistoryServer服务并未启动，使用如下命令启动。并使用命令jps查看是否有JobHistoryServer输出。

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

---

更多

将Dr.Elephant部署到CDH集群，见 Dr.Elephant在CDH上的部署 。

---

参考文章

• dr-elephant官方安装文档—Developer Guide
• dr-elephant官方部署文档—Administrator Guide
• Dr. Elephant大象医生安装文档
• Dr.Elephant 部署启动详细流程
• Dr.Elephant启动过程问题汇总