airflow
文章平均质量分 92
努力往上搞
这个作者很懒,什么都没留下…
展开
-
airflow dag 编写
默认情况下,某个task是否执行,依赖于其父task(直接上游任务)全部执行成功。airflow允许创建更复杂的依赖。通过设置operator中的trigger_rule参数来控制:该参数可以和。转载 2023-04-13 00:31:31 · 1013 阅读 · 1 评论 -
Airflow REST API的使用
Airflow REST API的使用Airflow-2.2.1提供了稳定的REST API,这样可以通过这些REST API来对airflow中的任务进行操作。airflow中的REST接口的说明可以查看这里的文档。1.配置并创建用户修改配置文件修改配置文件修改配置文件airflow.cfg,把auth_backend选项的值修改成以下值。1创建访问用户添加一个user1用户通过以下命令来添加一个user1用户,使得他可以通过REST API来访问airflow。转载 2023-03-27 15:56:55 · 713 阅读 · 0 评论 -
airflow搭建
由于将OS系统默认的Python版本更改了,导致系统自带的命令行工具(yum/ urlgrabber-ext-down/ yum-config-manager)无法直接使用,需要做更改才行。以 root 用户运行。阿里云的源头,如果用 豆瓣的。的会出现安装时版本依赖的问题。原创 2023-03-27 15:33:04 · 368 阅读 · 0 评论