airflow
cc1sweet
小菜菜
展开
-
airflow使用(一)
最近在使用airflow下载anaconda3 ,然后配置环境变量。pip install airflow 或者 pip install apache-airflow 下载code进行脚本配置,code 配置之后提交git,在Jenkins上面进行构建任务,任务及airflow任务都构建。然后去airflow界面进行查看任务,并且打开任务列表。import airflowfrom ...原创 2019-01-03 20:54:02 · 682 阅读 · 1 评论 -
airflow定时脚本配置
最近在使用airflow的时候 发现配置任务为每周一跑任务的配置并没有生效。捣拾了半天 最后还是回到crontab还有就是任务之间的依赖问题可以使用t7.set_upstream(t6)如果是t7任务在t6 t5 两个任务之后执行t7.set_upstream([t6, t5])意思是 t7在t6之后跑任务在airflow中是这样显示的:t6------t...原创 2019-01-09 20:00:02 · 1819 阅读 · 1 评论 -
airflow不同文件夹之间任务调度
之前搜了好多关于airflow不同文件夹里的任务调度依赖,都没有找到,于是公司同事专门花时间研究了一番,拿出来给大家共享。这里插一句 不知道大家是否在公司做了很多事情然后还觉得什么都不会或者在公司只做了一块任务 公司的部门区分很清晰我最近听说朋友的公司还有专门的定时任务设置部门 就还蛮规范的好啦 言归正传 目的在于:很多任务有依赖如果不设置依赖,前面的任务虽然时间...原创 2019-06-28 16:08:11 · 1037 阅读 · 0 评论