Azkaban任务动态参数小结

freesOcean

于 2021-05-25 16:15:31 发布

阅读量2.3k

点赞数 2

分类专栏：大数据文章标签：大数据

本文链接：https://blog.csdn.net/gexiaoyizhimei/article/details/117258472

版权

本文介绍了如何使用Azkaban进行数据仓库的任务调度，包括每日业务数据库到数仓的数据同步、清洗和指标计算。通过编写不同job依赖关系实现任务顺序执行，并展示了如何通过动态参数传递，如利用shell脚本将日期写入文件，再由后续任务读取，以适应不同日期的同步需求。此外，还详细解析了Azkaban的参数传递和输出机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

- - - 1. 数仓任务调度案例
    - 2.动态传参任务案例

1. 数仓任务调度案例

每日凌晨，我们会将业务数据库同步到数仓中，并进行清洗和相关指标的计算，然后导出到PostgreSQL中给业务系统使用，整个过程可以通过Azkaban进行调度执行。

job编写

job内容是执行对应的shell脚本，执行对应的任务，比如hive的脚本等。job的执行顺序依靠dependencies来描述，A 依赖B，则B先执行。

多个依赖用逗号分隔。
在这里插入图片描述

import_log.job

type=command
do_date=${dt}
command=/root/bin/sqoop_import_mp_log.sh all ${do_date}

import_user.job

type=command
do_date=${dt}
command=/root/bin/sqoop_import_mp_user.sh all ${do_date}

ods.job

type=command
do_date=${dt}
dependencies=import_log,import_user
command=/root/bin/ods_db.sh  ${do_date}

dwd.job

type=command
do_date=${dt}
dependencies

最低0.47元/天解锁文章