Azkaban详细操作

数仓流程图
在这里插入图片描述
创建job文件
(1)mysql_to_hdfs.job

type=command
command=/home/donglin/bin/mysql_to_hdfs.sh all ${dt}

(2)hdfs_to_ods_log.job

type=command
command=/home/donglin/bin/hdfs_to_ods_log.sh ${dt}

(3)hdfs_to_ods_db.job

type=command
command=/home/donglin/bin/hdfs_to_ods_db.sh all ${dt}
dependencies=mysql_to_hdfs

(4)ods_to_dwd_start_log.job

type=command
command=/home/donglin/bin/ods_to_dwd_start_log.sh ${dt}
dependencies=hdfs_to_ods_log

(5)ods_to_dwd_db.job

type=command
command=/home/donglin/bin/ods_to_dwd_db.sh ${dt}
dependencies=hdfs_to_ods_db

(6)dwd_to_dws.job

type=command
command=/home/donglin/bin/dwd_to_dws.sh ${dt}
dependencies=ods_to_dwd_db,ods_to_dwd_start_log

(7)dws_to_dwt.job

type=command
command=/home/donglin/bin/dws_to_dwt.sh ${dt}
dependencies=dwd_to_dws

(8)dwt_to_ads.job

type=command
command=/home/donglin/bin/dwt_to_ads.sh ${dt}
dependencies=dws_to_dwt

(9)hdfs_to_mysql.job

type=command
command=/home/donglin/bin/hdfs_to_mysql.sh ads_user_topic
dependencies=dwt_to_ads

放在文件夹里面,然后进行压缩
打开azkaban,https://hadoop102:8443/
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

©️2020 CSDN 皮肤主题: 终极编程指南 设计师:CSDN官方博客 返回首页