azkaban-web-server之hdfsviewer插件

2019独角兽企业重金招聘Python工程师标准>>>

1.编译完成azkaban3.x dist\hdfsviewer\packages目录下有tar.gz包，将其解压到azkaban-web-server/plugins/viewer/（没有则创建目录）下，在azkaban-web-server/conf/azkaban.properties文件最后一行添加

viewer.plugins=hdfs

2.重命名hdfsviewer

cd azkaban-web-server/plugins/viewer/
mv hdfsviewer hdfs

3.编辑plugins.properties配置文件

vim plugins.properties
如下：
viewer.name=HDFS
viewer.path=hdfs
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib/
viewer.servlet.class=azkaban.viewer.hdfs.HdfsBrowserServlet
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0
azkaban.should.proxy=false
proxy.user=azkaban
proxy.keytab.location=
allow.group.proxy=false

4.导入hadoop相关jar包到azkaban-web-server/plugins/viewer/hdfs/extlib目录下，非CDH环境下所需要的jar包，并且将extlib目录下jar复制到azkaban-web-server/extlib目录下

CDH环境下所需要的jar：

5.配置环境变量，在加载插件的时候会读取这两个环境变量，如果没有配置HADOOP_CONF_DIR，则读取本地文件系统：

export HADOOP_HOME=/home/app/hadoop-2.7.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/conf

6.启动web-server服务

如果看到的是本地文件系统，需要看fs.defaultFS的配置。

转载于:https://my.oschina.net/lzhaoqiang/blog/1511435