任务调度
文章平均质量分 67
沈健_算法小生
算法小生
展开
-
3.airflow系列之定时调度Docker自定义镜像并传参
本文先讲述笔者DockerOperator的试错过程,后面的KubernetesPodOperator才是最便捷的方式。原创 2023-05-10 21:38:27 · 333 阅读 · 0 评论 -
2.airflow系列之K8S多Worker节点安装后问题总结与自定义镜像并传参
airflowignore文件用户忽略检查非DAG文件,放置在dags_folders下,该配置在values.yaml中,我配置的是/opt/airflow/dags/repo/dags,所以放在此处。应该是版本问题,我把版本改为了2.2.1,清空数据库,uninstall后重新安装即可【这个问题排查了好久,无奈】,注意在values.yaml中写版本,在install.sh中的版本去掉,不然不生效。DAG中的第一个TASK具体执行文件开头引入,这样可以在WebServer Log中可以看到具体日志。原创 2023-03-18 21:24:33 · 415 阅读 · 0 评论 -
1.airflow系列之K8S部署airflow2.5.1
笔者遇到了以下问题,将会为你一一解答+ airflow db init未执行报错问题+ redis连接问题+ 日志无法查看问题+ 多woker不启动问题+ helm upgrade问题+ 缓存问题+ 数据库不存在问题+ 动态安装依赖问题原创 2023-03-12 00:09:18 · 1234 阅读 · 0 评论