1. azkaban上新建一个project
登录azkaban后,右上角有个Create Project的按钮,点解后录入项目信息。
2.上传项目文件
前人经验,这里应该上传一个.zip的压缩文件,并且你这个.zip的压缩文件里面不要有文件目录,直接是文件。
这个压缩文件里有2个文件,一个是run.sh的脚本,一个是.job的文件。
脚本文件中存储一些认证的信息,以及文件目录等信息
klist -kt /xxx/xxx.keytab
/usr/hdp/2.6.2.14-5/spark2/bin/spark-submit
.....
.
-sparker.job.file.path hdfs://gdmp/projects/待调度的.sql
这个.job的文件里,这样写
type=