这是因为你的job依赖层数太多引起的,一般到8层的时候上传就很慢了,因为azkaban会把你上传的文件解析成图边的数据存起来。
解决办法:使用flow
flow_1.job:
type=flow flow.name=hive_label_1
your.job
type=command command=sh /path/shell.sh dependencies=flow_1
将你的调度分为多个flow,job依赖flow就可以解决上传卡死的问题
这是因为你的job依赖层数太多引起的,一般到8层的时候上传就很慢了,因为azkaban会把你上传的文件解析成图边的数据存起来。
解决办法:使用flow
flow_1.job:
type=flow flow.name=hive_label_1
your.job
type=command command=sh /path/shell.sh dependencies=flow_1
将你的调度分为多个flow,job依赖flow就可以解决上传卡死的问题