airflow初探（一）-- 安装和部署

最新推荐文章于 2024-05-16 04:50:55 发布
最新推荐文章于 2024-05-16 04:50:55 发布
阅读量2.4k 收藏 7
点赞数 4
分类专栏： python 文章标签： airflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hpugym/article/details/89476480
版权

airflow搭建分布式流程控制

Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和管理。

Airflow的工作流程

airflow 的守护进程彼此之间是独立的，他们并不相互依赖，也不相互感知。每个守护进程在运行时只处理分配到自己身上的任务，他们在一起运行时，提供了 airflow 的全部功能。

  • 调度器 scheduler 会间隔性的去轮询元数据库（Metastore）已注册的 DAG（有向无环图，可理解为作业流）是否需要被执行。如果一个具体的 DAG 根据其调度计划需要被执行，scheduler 守护进程就会先在元数据库创建一个 DagRun 的实例，并触发 DAG 内部的具体 task（任务，可以这样理解：DAG 包含一个或多个task），触发其实并不是真正的去执行任务，而是推送 task 消息至消息队列（即 broker）中，每一个 task 消息都包含此 task 的 DAG ID，task ID，及具体需要被执行的函数。如果 task 是要执行 bash 脚本，那么 task 消息还会包含 bash 脚本的代码。

  • 用户可能在 webserver 上来控制 DAG，比如手动触发一个 DAG 去执行。当用户这样做的时候，一个DagRun 的实例将在元数据库被创建，scheduler 使同 #1 一样的方法去触发 DAG 中具体的 task

  • worker 守护进程将会监听消息队列，如果有消息就从消息队列中取出消息，当取出任务消息时，它会更新元数据中的 DagRun 实例的状态为正在运行，并尝试执行 DAG 中的 task，如果 DAG 执行成功，则更新任 DagRun 实例的状态为成功，否则更新状态为失败。

airflow 单节点部署

以所有上守护进程运行在同一台机器上即可完成 airflow 的单结点部署，架构如下图所示：
单节点部署

##Airflow多节点（集群）部署
在稳定性要求较高的场景，一般采用集群、高可用的方式来部署。Apache Airflow 同样支持集群、高可用的部署，airflow 的守护进程可分布在多台机器上运行，架构如下图所示：
集群部署
以上内容引自于：https://www.jianshu.com/p/2ecef979c606

Airflow安装与部署

安装环境

  • centos 7.2
  • Airflow 1.9
  • Python 2.7.5
  • Celery 4.3.0
  • Redis 4.1.0
  • Mysql 5.7

Airflow1.9要求Celery4.X，而且兼容性需要Redis4.X

安装过程

1. 安装准备
新建用户
groupadd airflow
useradd airflow -g airflow

默认自带python2环境，自行安装pip；  安装pip，并进行升级，不然会报错
yum -y install epel-release
yum install python-pip

pip install --upgrade pip
pip install --upgrade setuptools
1.安装开发库
yum install python-devel
yum install libevent-devel
yum install mysql-devel

yum install gcc

安装的过程可能会出现markupsafe的问题，需要对其进行写在重装
sudo pip uninstall markupsafe
sudo pip install markupsafe
2.Airflow安装
1）在此之前需要设定临时环境变量
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow==1.9


2）安装airflow-mysql
pip install apache-airflow[mysql]==1.9

3）修改配置文件
airflow安装完成之后，默认在用户根目录下，产生airflow目录
vim ~/airflow/airflow.cfg 
sql_alchemy_conn = sqlite:root/airflow/airflow.db 
替换为
sql_alchemy_conn = mysql://root:Admin@ads1111@127.0.0.1:3306/airflow

4）执行数据库初始化
airflow initdb
配置CeleryExecutor
1）安装redis==4.0.6
wget http://download.redis.io/releases/redis-4.0.6.tar.gz
tar -zxvf redis-4.0.6.tar.gz
cd redis-4.0.6
make MALLOC=libc
cd src && make install
 
或者
yum -y install redis==4.0.6

2）修改配置文件
vim /etc/redis.conf
#bind 127.0.0.1     // 注释掉，使redis允许远程访问
requirepass 密码  // 修改这行，redis登录密码

3）开启redis服务
编译安装的话：./redis-server /usr/local/redis-4.0.6/redis.conf
yum安装的话：systemctl start redis

4）python下安装redis库
pip install redis
pip install apache-airflow[redis]==1.9
pip install -U Celery==4.3.0
pip install apache-airflow[celery]==1.9

5)修改airflow.cfg配置文件
更改exector
# SequentialExecutor, LocalExecutor, CeleryExecutor, DaskExecutor
executor = CeleryExecutor  

更改broker_url 和celery_result_backend
#broker_url = sqla+mysql://airflow:airflow@localhost:3306/airflow
broker_url = redis://127.0.0.1:6379/0
# Another key Celery setting
celery_result_backend = db+mysql://root:Admin@ads1111@127.0.0.1:3306/airflow
Airflow开启执行
airflow webserver -p 8080    开启webserver

airflow scheduler   开启调度

airflow worker  开启消费者进程   注意：这需要使用非root账号执行，如果需要root执行，需要进行配置，配置见下方

webserver启动成功
在这里插入图片描述
scheduler启动成功
在这里插入图片描述

worker启动成功
在这里插入图片描述

安装过程中出现的问题
  • airflow initdb 时报错
    出现异常：Exception: Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql
    解决方式：修改mysql的配置文件 my.cnf,添加
    在这里插入图片描述
  • airflow worker （非root用户执行）
TypeError: Invalid argument(s) 'visibility_timeout' sent to create engine(), using configuration MySQLDialect_mysqldb/QueuePool/Engine. Please check that the keyword arguments are appropriate for this combination of components.

由于使用的非root用户，执行的时候会在home读取该用户根目录下的airflow的配置，并非root之前的配置好的airflow.cfg,相当于读取的是默认的配置，所以需要在非用户的根目录下，配置和root用户一行的配置才行。而且要保证非root用户和root用户的dag路径一致，否则将导致，非root用户执行的时候，找不到dag文件

  • 无法使用root用户启动worker
    1)修改源码，（该方法不推荐线上使用）
/usr/lib/python2.7/site-packages/airflow/executors，修改celery_executor.py源码文件

头部导入
from celery import Celery, platforms

在app = Celery(…)后新增
platforms.C_FORCE_ROOT = True

2）添加环境变量

C_FORCE_ROOT = True

vim /etc/profile
最后添加
export C_FORCE_ROOT=True

执行：source /etc/profile

未完，待续…

hpugym
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Invalid argument(s) 'pool_size' sent to create_engine(), using configuration
jacke121的专栏
08-28 6109
Invalid argument(s) 'pool_size' sent to create_engine(), using configuration 我们这里测试的是create_engine缺乏参数。 down votefavorite I createsqlalchemyengine connecting to MySQL database. I want to sp...
flask mysql py3.7_py3-flask-pymysql 兼容问题（use_native_unicode）.py
weixin_39566387的博客
02-23 686
python >=3.7.9Flask 1.12Flask-SQLAlchemy 2.4.4Flask-WTF 0.14.3flask_migrate 2.5.3flask_script 2.0.6flask_restful 0.3.8requestsredispymysql 0.10.1连接 mysqlMDB_URI = 'mysql+pymysql://........报错信息:Type...
sqlalchemy mysql配置中怎么设置utf8,sqlalchemy，将MySQL字符集设置为`create_engine`参数...
weixin_42420393的博客
01-19 1918
I create sqlalchemy engine connecting to MySQL database. I want to specify charset as create_engine argument.If I use create_engine liKe that:create_engine('mysql+mysqldb://pd:pd@localhost/pd?charset=...
create engine mysql_sqlalchemy，将MySQL字符集设置为“create_engine”argumen
weixin_39765325的博客
01-19 1735
我创建了连接到MySQL数据库的sqlalchemy引擎。我想指定charset作为^{}参数。如果我这样使用create_engine：create_engine('mysql+mysqldb://pd:pd@localhost/pd?charset=utf8')那一切都好。但是，当我这样使用它时：create_engine('mysql+mysqldb://pd:pd@localhost/pd...
Airflow【部署 01】调度和监控工作流工具Airflow官网Quick Start实操（一篇学会部署Airflow）(1)
最新发布
2401_84544780的博客
05-16 904
这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。
python-连接mysql的两种方式(一)
破碎琉璃为哪般
12-31 2287
一、sqlalchemy """ sqlalchemy 连接方式, 直接提交执行 """ from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://root:root@10.1.60.110:3306/datax", max_overflow=0, # 超过连接池大小外最多创建的连接，为0表示超过5个连接后，其他连接请求会阻塞 （默认为10）
airflow-code-editor:Apache Airflow的插件，可让您在浏览器中编辑DAG
04-27
部署说明 安装插件 点安装气流代码编辑器 （可选）安装Black Python代码格式化程序。 点安装黑色 重新启动Airflow Web服务器 打开管理员-DAGs代码编辑器 配置选项 您可以在[code_editor]部分中添加以下任何设置来...
airflow的安装文件constraints-3.8.txt
04-09
airflow的安装文件constraints-3.8.txt
airflow-doc-zh:[译] Airflow 中文文档
05-14
——菲尔·卡尔顿负责人翻译进度Airflow 1.10.2 文档已翻译完成下载Dockerdocker pull apachecn0/airflow-doc-zhdocker run -tid -p <port>:80 apachecn0/airflow-doc-zh# 访问 http://localhost:{port} 查看文档...
airflow的安装文件constraints-3.7.txt
04-09
airflow的安装文件constraints-3.7.txt
ansible-airflow:安装Apache Airflow的角色
05-24
使用Ansible安装Airflow。 该Ansible角色还支持使用Marathon启动Ansible。 在这种情况下，请使用变量marathon_version指定所使用的Marathon的版本。 支持的系统： Ubuntu 16.04 RedHat / Centos 7.2 Ansible...
Invalid argument(s) ‘pool_size‘ sent to create_engine(), using configuration
牛肉胡辣汤
01-12 600
在使用SQLAlchemy连接和操作数据库时，我们可能会遇到"Invalid argument(s) 'pool_size' sent to create_engine()"错误。这个错误通常是由于在创建数据库引擎时使用了错误的配置参数引起的。为了解决这个错误，我们需要检查和修复传递给函数的配置参数。确保正确设置pool_size参数可以避免这个错误的出现，并提高数据库操作的效率。
Airflow环境搭建
weixin_63881558的博客
03-23 2588
Airflow环境搭建
工作流管理框架airflow-安装部署教程
Trisyp的博客
01-18 2200
Airflow是一个以编程方式编写，用于管理和调度工作流的平台。可以帮助你定义复杂的工作流程,然后在集群上执行和监控这些工作流。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。Airflow的可扩展Python框架可以让你构建连接几乎任何技术的工作流程。丰富的用户界面可以随时查看生产中正在运行的管道，帮助你管理工作流程的状态，监视进度以及需要时对问题进行故障排除。
Airflow 任务调度工具的安装及配置（从安装到部署运行）
weixin_45602900的博客
04-19 5038
下方这个是airflow官方中文文档共大家参考： https://airflow.apachecn.org/#/zh/start 首先先创建airflow的虚拟环境，创建虚拟环境在我上一篇文章大家可以参考。 文章链接: https://blog.csdn.net/weixin_45602900/article/details/123821849 进入虚拟环境之后安装airflow pip install apache-airflow 之后配置存放airflow配置的文件夹 我这里是放在 /home
airflow的安装部署
厚积薄发
06-30 866
1. 安装python3.6.8 http://www.voidcn.com/article/p-pxlwdned-byr.html， yum -y安装对应的依赖 2. 在线安装airflow pip3 install apache-airflow 3. 执行airflow命令，在哪里执行就会在哪里生成配置文件 mysql要创建一个airflow库，同时my.cnf 设置explicit_defaults_for_timestamp=1修改airflow.cfg配置文件 4.初始化数据库配置 .
Airflow安装部署
zhiquxun4268的博客
09-03 1384
Airflow安装部署 新闻信息是通过爬虫获取，使用scrapy框架进行爬虫任务；使用airflow工作流监控平台对爬虫任务进行管理、监控（可使用CeleryExecutor分布式，也可使用LocalExecutor多进程进行数据采集）。以下主要是对airflow的安装和配置。 1.系统环境 目前使用的系统环境为Centos Linux release 7.4.1708 (core),l...
Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）
Java与大数据相关实践内容分享！
01-25 1201
Airflow官网Quick Start实操（一篇学会部署Airflow）
airflow安装部署
09-09
要安装和部署Airflow，您可以按照以下步骤进行操作： 1. 安装依赖项：首先，您需要确保已安装Python和pip。然后，使用以下命令安装Airflow的依赖项： ``` pip install apache-airflow ``` 2. 初始化数据库：运行以下命令来初始化Airflow的元数据库（SQLite 或其他支持的数据库）： ``` airflow db init ``` 3. 创建管理员账号：运行以下命令来创建Airflow的管理员账号： ``` airflow users create \ --username admin \ --firstname Admin \ --lastname User \ --role Admin \ --email admin@example.com ``` 您可以替换`admin`、`Admin User`、`admin@example.com`等为您想要的用户名、姓名和电子邮件。 4. 启动Web服务器和调度器：运行以下命令以启动Airflow的Web服务器和调度器： ``` airflow webserver --port 8080 airflow scheduler ``` Web服务器将在默认端口8080上运行，您可以根据需要更改端口号。 以上是基本的安装和部署步骤。您还可以配置其他设置，如执行器、连接器和认证方式等。可以通过编辑`airflow.cfg`文件来进行配置。 注意：请确保在部署Airflow之前阅读官方文档以获取更详细的说明和最新的更新。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值