airflow
文章平均质量分 59
weixin_44929001
放弃不难,但坚持一定很酷
展开
-
airflow学习之路 (二) airflow 底层数据库的修改
airflow想要升级的处理能力,后台metadata DB必须使用MySQL或者Postgresql。Airflow默认是有Sqlite,仅仅只能用做开发测试,也无法使用LocalExecutor。另外,后续的DAG会在这个数据库中执行读写数据操作,也是为后面的内容做好铺垫。创建一个数据库,Airflow 将使用该数据库访问此数据库。在下面的示例中,将创建一个数据库airflow_db。原创 2023-03-20 07:12:23 · 515 阅读 · 0 评论 -
airflow学习之路 (一) 安装启动airflow
apache airflow 是一个开源平台,用于开发、调度、 以及监控面向批处理的工作流。Airflow的可扩展Python框架使您能够构建工作流程 与几乎任何技术连接。Web 界面有助于管理工作流的状态。气流是 可通过多种方式进行部署,从笔记本电脑上的单个进程到分布式设置,甚至支持 最大的工作流程。原创 2023-03-20 05:48:48 · 662 阅读 · 0 评论