Airflow 配置celery+rabbitmq和celery+redis

最新推荐文章于 2025-04-16 10:02:54 发布

努力的凹凸曼

最新推荐文章于 2025-04-16 10:02:54 发布

阅读量2k

点赞数 1

分类专栏： Airflow 文章标签： Airflow

本文链接：https://blog.csdn.net/py_123456/article/details/101061301

版权

Airflow 配置celery+rabbitmq

1、安装celery和rabbitmq组件

pip3 install apache-airflow[celery]

pip3 install apache-airflow[rabbitmq]

2、系统安装rabbit

1）安装 erlang

yum install -y erlang

如果报错如下：

[**** ]# yum install erlang
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
No package erlang available.
Error: Nothing to do

则需要安装第三方软件库 epel：

# 下载
wget https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
# 安装完成即可
rpm -ivh epel-release-latest-7.noarch.rpm

再次执行则可以成功安装erlang了！

2）安装 rabbitmq

wget http://www.rabbitmq.com/releases/rabbitmq-serve

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

努力的凹凸曼

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Celery和AirFlow和状态管理-任务管理任务调度-TaskFlow-工作流-ETL-数据分析

远方雪的专栏

11-29

1137

在处理多轮数据处理任务时，监控每个节点的数据状态至关重要。以下是几种常见的方法和最佳实践，帮助你有效地判断和管理数据处理的状态。

Airflow2.0+celery+redis任务调度部署及使用

weixin_45450027的博客

04-10

5045

Airflow任务调度（本文档内容有同事贡献部分，该部分标记为蓝色，对同事表示感谢）环境版本：airflow 2.0.0；python 3.6 部署方式：集群部署，运行在anaconda3的虚拟环境 (airflow) * 节点7 [webserver、schuduler、worker] * 节点8 [worker] * 节点9 [worker、schuduler] 官网文档（最新）：http://airflow.apache.org/docs/apache-airf..

参与评论您还未登录，请先登录后发表或查看评论

Airflow 2.2.3 + MySQL 8.0.27 + Redis 6.2 部署Airflow任务调度平台

Marionxue

01-05

2877

上文简单的了解了airflow的概念与使用场景，今天就通过Docker安装一下Airflow,在使用中在深入的了解一下airflow有哪些具体的功能。 Airflow容器化部署阿里云的宿主机环境：操作系统: Ubuntu 20.04.3 LTS 内核版本: Linux 5.4.0-91-generic 安装docker 安装Docker可参考官方文档,纯净系统，就没必要卸载旧版本了，因为是云上平台，为防止配置搞坏环境，你可以先提前进行快照。 # 更新repo sudo apt-get updat

AirFlow 安装配置

古强俊的博客

12-27

1220

文章目录airflow 安装配置airflow 相关软件安装python 3.6.5 安装pip3 安装MySQL 5.7.28 安装redis 安装RabbitMQ 安装airflow 单节点部署架构图步骤airflow 多节点（集群）部署架构图多节点好处扩展 worker 节点水平扩展垂直扩展扩展 Master 节点（高可用）队列服务及元数据库(Metestore)的高可用。airflow 集...

centos7 安装airflow及配置celery+RabbitMQ和celery+redis

qq_39841823的博客

03-10

1589

趁我未失忆之前，记录过去曾经的自己文章目录前言一、airflow完整安装流程1.airflow 前置安装1.进行pip的更新，否则很多安装会报错airflow 基础安装2.安装开发库3.安装mysql4.初始化配置mysql5.環境變量設置2.airflow 與airflow mysql安装1.安装airflow2.初始化airflow并启动3.安装airflow-mysql4.创建testairflow用户,创建airflow数据库并给出所有权限给testairflow用户5.修改airflow配置文

celery最佳实践

weixin_33701294的博客

06-25

498

作为一个Celery使用重度用户，看到Celery Best Practices这篇文章，不由得菊花一紧。干脆翻译出来，同时也会加入我们项目中celery的实战经验。至于Celery为何物，看这里Celery。通常在使用Django的时候，你可能需要执行一些长时间的后台任务，没准你可能需要使用一些能排序的任务队列，那么Celery将会是一个非常好的选择。当把Celery作为一个任务队列用于很多...

python celery 和 rabbitmq结合

最新发布

计算机辅助工程

04-16

658

在使用Python的Celery与RabbitMQ结合时，你可以创建一个基于消息队列的任务队列系统，这对于处理异步任务和分散计算负载非常有用。pip install celery[redis] # Celery 需要 redis 作为消息代理，尽管你也可以用其他如 RabbitMQpip install pika # RabbitMQ 的 Python 客户端对于RabbitMQ，你通常需要安装RabbitMQ服务器并运行它。你可以从 RabbitMQ的官方网站下载并安装。

Ubuntu上搭建airflow+celery以及配置环境

最熟悉的陌生人

04-16

2425

文章目录1、框架2、搭建过程2.1 基础工作-新建airflow用户和目录2.2 下载并安装anaconda：miniconda2.3 新建airflow的python环境2.4 初始化airflow2.5 修改配置文件2.6 初始化后端数据库2.7 为访问airflow web时添加用户3、启动服务 1、框架服务器环境介绍： Ubuntu 16.04.5 LTS 配置：8核 16G 框架介...

【Airflow】CeleryExecutor+RabbitMQ+HAProxy做好分布式后，启动调度出现的问题

maixiaochai的博客

12-29

1049

如题，笔者按照上百篇（有点夸张，50多篇吧）文章，终于在踩过了无数坑后，搭建出了三worker节点的、CeleryExecutor+RabbitMQ+HAProxy的分布式Airflow集群（鬼知道我经历了什么）。然后，就在我准备举杯庆祝的时候—— 启动worker成功，启动webserver成功，启动scheduler后，总是报类似如下错误， Traceback (most recen...

Airflow+celery集群部署、踩坑

Im ok的博客哦

12-07

5501

Airflow安装部署

celery+rabbitMQ进行异步调用操作

DHogan的博客

08-23

3195

环境说明： Celery 3.1.23 RabbitMQ 3.6.2 在Django中使用Celery

Airflow&redis&celery分布式计算

ooyyaa6561的博客

05-19

879

前面几篇文档已经装好airflow，配好rest API 现在需要做单步骤可调用，所以必须使用Celery Executor，否则不能单步执行 1、安装redis 参考Centos7下安装redis Redis网址下载文件 tar -zxvf redis-4.0.11.tar.gz cd redis-4.0.11 make #编译 cp redis.conf src/ #将配置文件复制以可执行文件同一目录 cd src ./redis-server redis.conf 为了让其后台执行，

Airflow 2.2.3 容器化安装

Marionxue

01-04

810

上文简单的了解了airflow的概念与使用场景，今天就通过Docker安装一下Airflow,在使用中在深入的了解一下airflow有哪些具体的功能。1Airflow容器化部署阿里云的宿主...

Airflow 使用 Celery 时，如何添加 Celery 配置

无用郎中的博客

01-07

622

背景前段时间我选用了Airflow对wms进行数据归档，在运行一段时间后，经常发现会报以下错误： [2020-01-07 14:41:34,465: WARNING/ForkPoolWorker-5] Failed operation _store_result. Retrying 2 more times. Traceback (most recent call last...

Airflow2.2.3 + Celery + MYSQL 8构建一个健壮的分布式调度集群

Marionxue

01-05

3294

airflow2.7.3 + celery + redis + mysql 安装部署测试

a1314_521a的博客

05-24

1638

1.mysql8.0.36 离线安装；2. celery+redis 分布式消息队列部署测试；3. airflow2.7.3 +celeryExecutor 安装测试，简单案例调度测试

Airflow安装详解（附airflow.cfg配置详解）

chenzuoli的博客

11-27

7475

标题: Airflow安装详解日期: 2021-11-16 21:27:21 标签: [airflow] 分类: 调度系统在讲airflow安装之前，我们先来了解下airflow的架构，这有助于我们去理解安装的步骤到底是干嘛的。来看这篇文章：airflow架构我讲的airflow是1.10.14版本的哈。所以，如果我们搭建airflow是做大量的任务调度，那么就推荐元数据库使用mysql/postgresql，消息队列使用redis/rabbitmq。我以mysql和rabbitmq为例来.

Airflow2.0.0 + Celery 集群搭建

BurukeYou

01-10

7238

1、说明依赖python环境、基于pip安装apache-airflow 安装过程可能会缺少系统依赖报错如gcc、mysql-devel 之类, 缺什么就 yum install 什么即可 2、airflow + celery架构 3、集群规划服务器hadoop100 服务器hadoop101 服务器hadoop102 web server V scheduler V worker V V V 注意编写DAG文件需要保证在集群每个节点都要同步,因为每个wo

Celery类似的消息队列还有什么

03-17

### 类似于Celery的消息队列技术除了 Celery 外，还有许多其他的技术框架能够实现类似的分布式任务处理功能。以下是几种常见的替代方案： #### 1. **RQ (Redis Queue)** RQ 是一个轻量级的任务队列工具，基于 Python 和 Redis 构建。它的设计目标是简单易用，适合中小型项目的需求。与 Celery 不同的是，RQ 只支持 Redis 作为消息中间件[^6]。 ```python import redis from rq import Queue from my_module import count_words_at_url redis_conn = redis.Redis() q = Queue(connection=redis_conn) job = q.enqueue(count_words_at_url, 'http://example.com') ``` #### 2. **Dramatiq** Dramatiq 是另一个高性能的分布式任务队列系统，专注于快速执行和可靠性。它支持多种消息中间件（如 RabbitMQ 和 Redis），并提供了更简单的 API 设计[^7]。 ```python import dramatiq from dramatiq.brokers.rabbitmq import RabbitmqBroker broker = RabbitmqBroker(url="amqp://guest:guest@localhost/") dramatiq.set_broker(broker) @dramatiq.actor def count_words(path): with open(path, "r") as f: return len(f.read().split()) ``` #### 3. **Apache Airflow** 虽然 Apache Airflow 更多用于数据管道编排，但它也可以用来管理复杂的定时任务和工作流。Airflow 提供了一个强大的 UI 来监控任务状态，并且具有高度可扩展性[^8]。 #### 4. **Luigi** Luigi 是 Spotify 开发的一个任务调度器，主要用于构建复杂的数据管道。它可以很好地与其他大数据工具集成，比如 Hadoop、Pig 等。尽管 Luig 主要关注批处理作业，但也适用于某些类型的实时任务[^9]。 ```python import luigi class MyTask(luigi.Task): param = luigi.Parameter() def run(self): with self.output().open('w') as output_file: output_file.write(str(len(param))) def output(self): return luigi.LocalTarget('/path/to/output/%s.txt' % self.param) ``` #### 5. **Resque** Resque 是 Ruby 社区广泛使用的背景任务管理系统，同样依赖 Redis 作为存储后端。对于熟悉 Ruby 的开发者来说，这是一个非常流行的选择[^10]。 --- ### 总结对比表 | 技术名称 | 编程语言 | 支持的消息中间件 | 功能特点 | |----------|-----------|-------------------|------------| | Celery | Python | RabbitMQ, Redis 等 | 强大灵活，社区活跃 | | RQ | Python | Redis | 轻量化，易于上手 | | Dramatiq | Python | RabbitMQ, Redis | 高性能，API简洁 | | Airflow | Python | 数据管道为主 | 工作流可视化 | | Luigi | Python | 文件系统/HDFS/Pig等 | 数据管道/批量任务优先 | | Resque | Ruby | Redis | Ruby 生态中的主流解决方案 | ---