![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
实战-Airflow
文章平均质量分 65
Airflow调度系统的实战
一 铭
公众号:大数据架构师修行之路
展开
-
Airflow实战--通过REST为任务传递多个参数
Airflow实战–通过REST为任务传递多个参数可以通过REST接口来为任务传递多个参数。传递多个参数的方法有几种,其中一个是把参数通过json保存到一个key中。另外,就是通过REST接口的conf参数中添加多个key-value的值。在任务执行端的Python算子中,可以多次调用context[“dag_run”].conf.get来获取每个key的值。若传递了多个参数,但只想获取其中某个参数,也是可以的。1.通过REST传递多个参数当想通过REST来传递多个参数时,只需要在conf参数中添原创 2021-11-16 09:41:55 · 1078 阅读 · 0 评论 -
Airflow实战--获取Rest参数并通过Variable传递给Bash算子
Airflow实战–获取Rest参数并通过Variable传递给Bash算子本文介绍如何通过REST API把参数传递给DAG。在DAG内部,如何在Task之间进行参数传递。前面介绍了,如何通过xcom来在dag中不同任务重传递参数,这里介绍如何通过共享变量的方式在各个task之间传递参数。获取Rest参数并通过Variable传递以下任务先通过PythonOperator获取到Rest接口的参数,并通过Variable共享变量的方式来把参数传递给后面的任务。而且,这里后面的任务是BashOperat原创 2021-11-16 07:13:12 · 1092 阅读 · 0 评论 -
Airflow实战--获取REST参数并通过Xcom传递给Bash算子
Airflow实战–获取REST参数并通过Xcom传递给Bash算子有时候我们需要通过REST API给调度任务来传递参数。参数可能有多个,也可能只有一个。比如,可能为Spark任务传递一个SQL语句等。本文分析如何通过REST API为BashOperator的任务来传递参数。前面已经分析过,如何在PythonOperator任务中来获取REST API的参数,这里分析如何把参数传递给BashOperator任务。这里我们使用xcom方式来进行任务间的参数传递。也可以使用共享变量的方式来完成该任务原创 2021-11-15 23:18:19 · 1585 阅读 · 0 评论 -
Airflow实战--通过REST API来为任务传递参数1
Airflow实战–通过REST API来为任务传递参数1本文介绍如何通过REST API来给任务传递参数。在实际应用中任务的参数传递非常重要,因为根据不同的参数任务会执行不同的逻辑。所以,参数传递是一个任务调度系统必须具备的基本功能。本文就来研究一下如何通过airflow的REST API来为任务传递参数。基于airflow-2.2.1。Airflow的参数传递前面的文章已经分析过,可以通过两种方式来对airflow中的任务进行参数传递,一种是通过xcom机制,一种是通过共享变量。如何利用这两种方原创 2021-11-14 16:45:14 · 3360 阅读 · 0 评论 -
Airflow实战--REST API的使用
Airflow REST API的使用Airflow-2.2.1提供了稳定的REST API,这样可以通过这些REST API来对airflow中的任务进行操作。airflow中的REST接口的说明可以查看这里的文档。1.配置并创建用户修改配置文件修改配置文件修改配置文件airflow.cfg,把auth_backend选项的值修改成以下值。auth_backend = airflow.api.auth.backend.basic_auth创建访问用户添加一个user1用户通过原创 2021-11-14 15:20:57 · 3573 阅读 · 0 评论 -
Airflow实战--安装配置(单机)
Airflow安装配置(单机)安装配置注意:python的版本必须是python3+,我用的是python3.7这个版本。pip install apache-airflow通过该命令即可安装成功。这样安装好后,我的airflow的执行文件在目录下:/Users/xhz/opt/anaconda3/envs/py37/bin注意:由于我是使用anaconda3来管理python环境的,这里可以自己通过find命令来搜一下airflow这个命令的位置。把airflow的可执行程序的路径添加到原创 2021-11-14 15:17:18 · 2062 阅读 · 0 评论 -
通过Papermill+Airflow来调度运行Jupyter-Notebook(.ipynb)文件-实战
通过Parpermill+Airflow来运行Jupyter-Notebook(.ipynb)文件实战在完成数据处理和数据科学代码时,通常我们会使用jupyter-notebook来进行开发,我们可以会开发很多个notebook文件(.ipynb),notebook文件之间可能还存在依赖关系。notebook一多管理起来就会比较麻烦,对上线和任务调度更是一个不小的挑战。Parpermill是一...原创 2020-04-26 12:53:05 · 2501 阅读 · 0 评论