airflow
文章平均质量分 53
任务调度系统
weshell_
花有重开日,人无再少年。
展开
-
airflow调度方案
主要服务dag:包括 task、operator、sensor 模块 配置 dag、task、operatorschedule:包括 control 模块 启动 暂停 恢复等 控制dag任务启动worker:执行 task 触发sensor状态更新operatoroperator(操作器):定义任务该以哪种方式执行主要有以下四种function_operator:js函数shell_operator :执行shell命令http_operator:发送http请求seneca原创 2021-08-23 18:04:33 · 63671 阅读 · 0 评论 -
airflow使用过程中的问题记录
使用python校验dag脚本报错python3 test.py提示缺少模块或者直接报错的重新安装python3,编译的时候看有没有依赖的模块未安装类似下面这种Python build finished, but the necessary bits to build these modules were not found: _bsddb _sqlite3 _ssl _tkinter bsddb185原创 2021-07-29 16:23:57 · 67608 阅读 · 0 评论 -
airflow部署
本地部署创建目录并添加环境变量mkdir /opt/airflowecho "export AIRFLOW_HOME=/opt/airflow" >> /etc/profile安装pip install apache-airflow初始化dbairflow db init创建用户airflow users create \ --username admin \ --firstname Peter \ --lastname Parker \原创 2021-07-27 15:43:29 · 68014 阅读 · 0 评论