airflow-CeleryExecutor

最新推荐文章于 2024-05-24 11:15:49 发布

天寒放雁

最新推荐文章于 2024-05-24 11:15:49 发布

阅读量398

点赞数

分类专栏： python 文章标签： airflow

本文链接：https://blog.csdn.net/tinahanfangyan/article/details/96482259

版权

python 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

安装celery

#Celery文档 http://docs.jinkan.org/docs/celery/index.html
#Celery4.0.0在airflow中有一些问题，所以安装Celery3
pip install -U Celery==3.1.24
pip install airflow[celery]

安装rabbitmq

apt-get install rabbitmq-server
pip install airflow[rabbitmq]

修改配置文件

#更改Executor为CeleryExecutor
executor = CeleryExecutor

#更改broker_url
broker_url = amqp://airflow:airflow@localhost:5672/vairflow
Format explanation: transport://userid:password@hostname:port/virtual_host

#更改celery_result_backend
celery_result_backend = amqp://airflow:airflow@localhost:5672/vairflow
Format explanation: transport://userid:password@hostname:port/virtual_host