本文档详细介绍了如何编译安装Dr-Elephant，这是一个用于分析Hadoop和Spark任务性能并提供调优建议的工具。首先，通过git clone获取源码，然后配置环境，包括设置ACTIVATOR_HOME和PATH。接着，使用npm和bower安装所需组件，并进行编译。编译完成后，解压生成的zip文件，并配置HADOOP_HOME、HADOOP_CONF_DIR、SPARK_HOME等相关环境变量。在配置文件elephant.conf中设置数据库连接信息，并调整FetcherConf.xml和SchedulerConf.xml以适应不同的调度器。最后，启动Dr-Elephant并了解日志位置。
dr-elephant 是大象医生，帮助分析hadoop任务，spark任务运行状况，给出调优建议。
1. git clone https://github.com/linkedin/dr-elephant.git cd dr-elephant*
java1.8
2. 下载 https://downloads.typesafe.com/typesafe-activator/1.3.12/typesafe-activator-1.3.12.zip
配置环境
export ACTIVATOR_HOME=/path/to/unzipped/activator export PATH=$ACTIVATOR_HOME/bin:$PATH
3.sudo yum install npm sudo npm install -g bower cd web; bower install; cd ..
4.编译
./compile.sh [./compile.conf] -- compile.com中可以指定hadoop,spark版本，测试指定其它版本都编译不通过，默认就行
5. 编译完后会生成zip文件
ls dist dr-elephant*.zip
安装
1. 解压zip
unzip dr-elephant-2.1.7.zip
2.配置环境变量 vi .bash_profile
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoo
最低0.47元/天 解锁文章
扫一扫
1421
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
