Airflow | 脚本东零西散？Airflow 快速搭建 pipeline（超详细）

最新推荐文章于 2023-11-11 08:00:00 发布
最新推荐文章于 2023-11-11 08:00:00 发布
阅读量1.8k 收藏 3
点赞数 6
分类专栏： Airflow 深度学习 文章标签： docker linux 大数据 pipeline 自动化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxj0323/article/details/116299278
版权

目录

原创声明

本文为 HinGwenWoong 原创，如果这篇文章对您有帮助，欢迎转载，转载请阅读文末的【授权须知】，感谢您对 HinGwenWoong 文章的认可！

前言

我们平常在生成数据集的时候，通常多有有好几个步骤，而且每个步骤都需要进行一些必要参数的配置，通常情况下是几个函数写到一个main方法中直接调用，但是需要直接使用 SSH 链接 -> 切换路径 -> 进入虚拟环境 -> 执行，这样虽然可行，但是都是重复的工作。

我们可以使用 Airflow 对任务进行编排，还可以设定执行的时间，具体执行的任务，而且可以使用其可视化界面清除看到执行到哪一步还有其输出的 log，这样大大增强了对任务的监控，下面，就让我带大家一起去搭建 Airflow 的环境吧。

我是 HinGwenWoong，一个有着清晰目标不停奋斗的程序猿，热爱技术，喜欢分享，码字不易，如果帮到您，请帮我在屏幕下方点赞 👍 ，您的点赞可以让技术传播得更远更广，谢谢！

什么是 Airflow

Airflow 是一个以编程方式创作、安排和监控工作流的平台。

使用 Airflow 将工作流创作为任务的有向无环图 (DAG)。 Airflow scheduler在遵循指定的依赖关系的同时，在多个Worker上执行任务。丰富的命令行实用程序使在 DAG 上执行复杂的步骤变得轻而易举。丰富的用户界面使可视化生产中运行的 pipeline、监控进度和在需要时解决问题变得容易。

当工作流被定义为代码时，它们变得更加可维护、可版本化、可测试和协作。

一、部署

本章会阐述两种方式

  • 本地部署（生产推荐）
  • Docker 部署（测试推荐）

本地部署（生产推荐）

本地部署有两个工具需要部署

  • 数据库，我选用了 MySQL
  • Airflow 本体部署

1) 数据库安装 ：

  1. 下载 MySQL 安装包 ，这里使用的是 5.7.x
    wget -i -c \
http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
  2. 安装
    yum -y install mysql57-community-release-el7-10.noarch.rpm && \
yum -y install mysql-community-server
  3. 启动 MySQL 服务
    systemctl start  mysqld.service
  4. 查看 MySQL 服务状态
    systemctl status mysqld.service
  5. 查看初始密码
    grep "password" /var/log/mysqld.log
  6. 使用其登录 MySQL数据库
    mysql -uroot -p
  7. 重置密码
    ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';

2) Airflow 本体部署

  1. 使用 pip 安装

    AIRFLOW_VERSION=2.1.1
PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"
CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
pip install "apache-airflow[async,virtualenv,docker,mysql,kubernetes]==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}" -i https://pypi.tuna.tsinghua.edu.cn/simple --ignore-installed

    注意：具体的额外包，使用 Reference for package extras 查阅

  2. 查看 Airflow 数据库链接

    airflow config get-value core sql_alchemy_conn

  3. 进入 MySQL 建立数据库 ：

    mysql -u root -p

  4. 创建表

    CREATE DATABASE airflow_db CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
CREATE USER 'airflow_user' IDENTIFIED BY 'airflow_pass';
GRANT ALL PRIVILEGES ON airflow_db.* TO 'airflow_user';

  5. 打开 Airflow 的配置文件 airflow.cfg，切换 Airflow 为 MySQL ：

    vim ~/ariflow/airflow.cfg

    在 sql_alchemy_conn 后面加入数据库的地址在这里插入图片描述
    注意：后面的 ?charset=utf8 一定要加上，要不然会出现 UnicodeEncodeError: 'charmap' codec can't encode characters in position 36-38: character maps to <undefined>

  6. 修改 MySQL 配置 my.cnf

    mysql --help | grep my.cnf
sudo vim /etc/my.cnf

    可以查看到 my.cnf 的路径
    在这里插入图片描述
    在配置文件中加入 explicit_defaults_for_timestamp=true，注意位置不要写错
    在这里插入图片描述

  7. 修改时区为 Asia/Shanghai 在这里插入图片描述

  8. 加入配置 sql_engine_collation_for_ids = utf8mb3_general_ci
    在这里插入图片描述

  9. 执行数据库初始化

    airflow db init

    如果没出现报错的话，证明成功！
    在这里插入图片描述

  10. 创建用户

    airflow users create \
--username admin \
--firstname HinGwen \
--lastname Woong \
--role Admin \
--email peterhuang0323@@qq.com

    之后会提示输入密码，输入之后即可创建好用户

  11. 后台启动 Airflow 服务

    airflow webserver --port 8080 -D
airflow scheduler -D

  12. 登录 localhost:8080 ，输入 10 中的用户名和密码，即可
    在这里插入图片描述

本地部署可能出现的问题及其解决方法

  1. 使用 pip 安装 Airflow 的时候出现： OSError: mysql_config not found
    在这里插入图片描述
    解决方法：

    sudo yum install -y mysql-devel gcc gcc-devel python3-devel

  2. 使用 pip 安装 Airflow 的时候出现：ERROR: Cannot uninstall 'PyYAML'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.
    在这里插入图片描述
    解决方法：
    加入 --ignore-installed

    sudo pip3 install "apache-airflow[async,virtualenv,docker,mysql,kubernetes]==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}" -i https://pypi.tuna.tsinghua.edu.cn/simple --ignore-installed

  3. 在 Airflow 初始化数据库的时候出现： UnicodeEncodeError: 'charmap' codec can't encode characters in position 36-38: character maps to <undefined>
    在这里插入图片描述
    解决方法：
    在数据库 URL 后面加上 ?charset=utf8 在这里插入图片描述
    解决方法：第5步

  4. 在 Airflow 初始化数据库的时候出现：Exception: Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql
    在这里插入图片描述
    解决方法：第6步

  5. 在 Airflow 初始化数据库的时候出现：sqlalchemy.exc.OperationalError: (MySQLdb._exceptions.OperationalError) (1071, 'Specified key was too long; max key length is 3072 bytes')
    在这里插入图片描述
    解决方法：第8步

  6. 在跑 Dags 的时候，进入 Log 显示 Log file does not exist
    在这里插入图片描述
    解决方法：将 executor 配置成 LocalExecutor
    在这里插入图片描述

Docker 部署（测试推荐）

这里使用的是：Docker 方式进行搭建

官方文档：Running Airflow in Docker

  1. 安装 docker-compose：Install Docker Compose

    sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
docker-compose --version

  2. 拉取官方的 docker-compose 启动文件 docker-compose.yaml

    curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.1.0/docker-compose.yaml'

    该文件包含几个服务定义如下：
    1)airflow-scheduler: 调度器监视所有任务和DAG，然后在任务实例的依赖关系完成后触发它们。
    2)airflow-webserver: 提供网页可视化服务 http://localhost:8080。
    3)airflow-worker: 执行调度程序给定任务的工作进程。
    4)airflow-init: 初始化服务。
    5)flower: 监测环境的 flower 应用程序。接口是：http://localhost:5555。
    6)postgres: 数据库。
    7)redis: 将消息从调度程序转发到工作程序的 redis-broker。

  3. 初始化必备文件

    mkdir ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env

  4. 执行初始化

    docker-compose up airflow-init

    在这里插入图片描述
    待看到 start_airflow-init_1 exited with code 0 即为初始化成功：
    在这里插入图片描述

  5. 启动 ariflow 服务

    docker-compose up

    如果想使用后台启动

    docker-compose up -d

  6. 在另外的一个 shell 查看容器状态

    docker ps

    可以看到容器已经启动了

        CONTAINER ID   IMAGE                  COMMAND                  CREATED          STATUS                    PORTS                              NAMES
247ebe6cf87a   apache/airflow:2.1.0   "/usr/bin/dumb-init …"   3 minutes ago    Up 3 minutes (healthy)    8080/tcp                           compose_airflow-worker_1
ed9b09fc84b1   apache/airflow:2.1.0   "/usr/bin/dumb-init …"   3 minutes ago    Up 3 minutes (healthy)    8080/tcp                           compose_airflow-scheduler_1
65ac1da2c219   apache/airflow:2.1.0   "/usr/bin/dumb-init …"   3 minutes ago    Up 3 minutes (healthy)    0.0.0.0:5555->5555/tcp, 8080/tcp   compose_flower_1
7cb1fb603a98   apache/airflow:2.1.0   "/usr/bin/dumb-init …"   3 minutes ago    Up 3 minutes (healthy)    0.0.0.0:8080->8080/tcp             compose_airflow-webserver_1
74f3bbe506eb   postgres:13            "docker-entrypoint.s…"   18 minutes ago   Up 17 minutes (healthy)   5432/tcp                           compose_postgres_1
0bd6576d23cb   redis:latest           "docker-entrypoint.s…"   10 hours ago     Up 17 minutes (healthy)   0.0.0.0:6379->6379/tcp             compose_redis_1

  7. 使用浏览器登录到http://localhost:8080即可看到登录界面，初始化的用户名和密码都是 airflow
    在这里插入图片描述

二、运行 Dag

  1. 进入你的 dag 中，这里我选了官方提供的 example_bash_operator 作为演示
    在这里插入图片描述

  2. 开启 dag
    在这里插入图片描述
    这里需要注意的是，我们可以设置 dag 定时自己启动，具体的时间间隔可以看右上角：
    在这里插入图片描述

  3. 执行
    在这里插入图片描述
    如果需要传参，使用下面那个按钮
    在这里插入图片描述
    传入约定好的参数
    在这里插入图片描述
    代码中使用这种方法取值：

    example_key = '{{ dag_run.conf["example_key"] }}'

  4. 运行之后你就可以看到任务的运行状态了
    在这里插入图片描述
    步骤可视化图
    在这里插入图片描述
    事件日历视图
    在这里插入图片描述
    任务持续时间
    在这里插入图片描述
    甘特图
    在这里插入图片描述
    如果需要查看每个任务的 Log 以及执行的命令，先点击你需要查看的任务，然后点击 Log：
    在这里插入图片描述
    就可以看到其对应的 Log
    在这里插入图片描述
    您也可以看到每个任务执行的命令
    在这里插入图片描述

三、加入你的 dag

  1. 编写好你的 Dag 文件之后，放到 ~/airflow/dags (如果是 docker 部署的话，放到 ./dag )里面
  2. 在 Airflow 中进行重新登录
    在这里插入图片描述
  3. 刷新即可看到你自己的 Dag 任务了
  4. 如果还是看不到， 重启 Airflow 的所有服务即可
    docker-compose restart

总结

以上就是如何部署 Airflow 、如何运行 dag，以及如何加入您自己的 pipeline，希望能够祝您一臂之力。

我是 HinGwenWoong，一个有着清晰目标不停奋斗的程序猿，热爱技术，喜欢分享，码字不易，如果帮到您，请帮我在屏幕下方点赞 👍 ，您的点赞可以让技术传播得更远更广，谢谢！

参考资料

[1] Running Airflow in Docker
[2] https://www.cnblogs.com/xuziyu/p/11696549.html
[3] https://blog.csdn.net/qq_36582604/article/details/80526287
[4] http://airflow.apache.org/docs/apache-airflow/stable/howto/set-up-database.html#database-uri

授权须知

  1. 原创文章在推送一天后才可进行转载
  2. 转载文章，禁止声明原创
  3. 不允许直接二次转载，转载请根据原文链接联系作者
  4. 若无需改版，在文首清楚标注作者及来源/原文链接，并删除【原创声明】，即可直接转载。
    但对于未注明转载来源/原文链接的文章，我将保留追述的权利。

    作者：HinGwenWoong
    一个有着清晰目标不停奋斗的程序猿，热爱技术，喜欢分享，共同进步！
    CSDN: HinGwenWoong
    原文链接：Airflow | 脚本东零西散？Airflow 快速搭建 pipeline（超详细）

  5. 若需要修改文章的排版，请根据原文链接联系作者
  6. 再次感谢您的认可，转载请遵守如上转载须知！
HinGwenWoong
关注
  • 6
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Airlofw源码精读 一
u013010890的博客
03-11 485
airflow源码解读
data-pipeline-airflow:使用Airflow的数据管道将数据从S3加载到Redshift
03-31
Sparkify气流数据管道 概述 该项目使用Apache Airflow为Sparkify构建数据管道，该数据管道可自动执行并监视ETL管道的运行。 ETL从S3以JSON格式加载歌曲和日志数据，并在Reshift上以星型模式将数据处理到分析表中。 星型模式已用于允许Sparkify团队轻松运行查询以分析其应用程序上的用户活动。 Airflow每小时安排一次该ETL，并通过运行数据质量检查来监视其成功。 结构 udac_example_dag.py包含父DAG的任务和依赖项。 load_dimension_table_subdag.py包含用于加载维表的子数据。 create_tables.sql包含用于在Redshift中创建所有必需表SQL查询。 应将其放置在Airflow安装的dags目录中。 sql_queries.py包含用于创建和加载ETL流程中使用的表SQL查询。
airflow定义一个pipeline的例子
qq_41697157的博客
04-09 102
调度工具airflow的pipeline例子
大数据调度平台Airflow（五）：Airflow使用
lisheng19870305的专栏
07-17 9065
以上python文件就是Airflowpython脚本，使用代码方式指定DAG的结构。
Apache Airflow (四) ：Airflow 调度shell命令
最新发布
qq_32020645的博客
11-11 625
更多DAG task依赖关系可参照官网：http://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html#task-dependencies。http://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/dag/index.html 查看DAG参数说明，也可以直接在开发工具点击DAG进入源码看下对应参数有哪些。
airflow中调用执行外部python脚本当作task
热门推荐
起点的专刊
04-01 1万+
习惯使用airflow自动化流程的朋友对于task应该比较了解，如果调用程序中的脚本直接callback指定函数就可以了，如果想要调用外部的程序如何进行调用呢？？ 其实很简单，引文shell可以通过os.system 来调用python脚本，所以我们只要定义一个python方法，来封装system就可以啦。以下程序和我的方法一致，用作参考！ ...
Apache Airflow Celery 消息中间件命令执行漏洞CVE-2020-11981POC脚本
12-09
Apache Airflow Celery 消息中间件命令执行漏洞CVE-2020-11981POC脚本 Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来...
pipeline-editor:在不同客户端中使用的通用管道编辑器组件（例如Elyra应用程序，Web浏览器扩展等）
04-01
Elyra管道编辑器 用于编辑管道文件的react组件。...安装@elyra/pipeline-editor作为： // npmnpm install @elyra/pipeline-editor// yarnyarn add @elyra/pipeline-editor 或者可以在本地链接： git clone git@github....
mara-pipelines：一个轻量级的，自以为是的ETL框架，介于纯脚本和Apache Airflow之间
02-05
马拉管道 该软件包包含一个轻量级的数据转换框架，重点是透明性和降低复杂性。 它具有许多固有的假设/原则： 数据集成管道作为代码：管道，任务和命令是使用声明性的Python代码创建的。 PostgreSQL作为数据处理引擎...
airflow-pipeline-music-app：自定义操作员执行诸如暂存数据，填充数据仓库以及对数据进行检查的任务，这些数据用于名为Sparkiy的音乐流应用程序
02-09
5. **Airflow工作流**：在“airflow-pipeline-music-app-main”这个文件夹中，很可能包含了Airflow工作流的定义，包括DAG（Directed Acyclic Graph）文件、自定义操作员代码以及其他辅助脚本。DAG定义了任务之间的...
simple_pipeline_app
03-10
在提供的文件名 "simple_pipeline_app-main" 中，"main"常常指代程序的主要入口点，这可能是整个应用的启动脚本，负责初始化、配置和运行整个数据处理流程。 总结起来，"simple_pipeline_app"可能是一个基于某种...
airflow dag 编写
weixin_45720992的博客
04-13 1207
默认情况下，某个task是否执行，依赖于其父task(直接上游任务)全部执行成功。airflow允许创建更复杂的依赖。通过设置operator中的trigger_rule参数来控制：该参数可以和。
airflow initdb 报 UnicodeEncodeError 和 ab_permission_view_role doesn‘t exist
xufwind的博客
02-20 910
使用mysql作为airflow的数据库，在airflow.cfg中设置字符编码为utf-8,在初始化airflow数据库时还是会碰到如下错误: UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-3: character maps to <undefined> 这种还是在编码设置问题上，处理需要在airflow.cfg中设置编码 sql_engine_encoding = utf-8 还需要在.
airflow: 新建的dag没有显示在web ui 上
book_1992的专栏
04-05 5155
问题 在 dags文件夹中创建了一个 demo_dag.py 后，没有正常显示在 web ui 上 原因 demo_dag.py文件内的代码有问题，此时在web ui上的首页可以看到有错误提示 没有重启 webserver，具体原因不明，在google上看到的解决方案就是把webserver和scheduler都关掉，然后重启 其他发现 发现airflow的数据库写入失败，此时执行 airflow dags list 可以看到 自定义的dag ，其pause值为none，而其他正常的dag的p
UnicodeEncodeError: ‘charmap‘ codec can‘t encode characters in position 0-1: character maps to ＜unde
amberom的专栏
07-14 4803
使用vc code,编辑python对数据进行入库时,出现如下错误: UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-1: character maps to <undefined> 解决方法,在sql.py中,或者是链接数据库时,添加:最后增加一个 ： charset="utf8" 就好了 database=MySQLdb.connect(host="localhost",use...
大数据调度平台Airflow（八）：Airflow分布式集群搭建及测试
Lansonli（蓝深李）的博客
04-02 9275
目录 Airflow分布式集群搭建及测试 一、节点规划 二、airflow集群搭建步骤 1、在所有节点安装python3.7 2、在所有节点上安装airflow 三、初始化Airflow 1、每台节点安装需要的python依赖包 2、在node1上初始化Airflow 数据库 四、​​​​​​​创建管理员用户信息 五、​​​​​​​配置Scheduler HA 1、下载failover组件 2、使用pip进行安装failover需要的依赖包 3、node1节点初始化failover
Apache Airflow: 构建数据管道
miya的博客
01-12 400
一、overview 特征： batch: not streams open-source python useful UI integration architecture lifecycle DAG 有向无环图： Directed Acyclic Graph node: tasks(按照顺序执行) edges: dependencies 点和边可以通过python来定义。 二、 python操作 用python定义DAG 这个airflow pipeline实现这样一个简单功能： 打印greetin
Airflow 实践笔记-从入门到精通二
Focus on Lakehouse
06-03 2822
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建这里主要讲一下Airflow的其他特性。DAG配置表中的变量DAG_FOLDER是DAG文件存储的...
熊猫学猿--airflow执行远程服务器命令
liuhongwei_study的专栏
09-14 1176
添加服务器链接 使用SSHOperator args = { 'owner': 'xmxy', 'depends_on_past': False, "catchup": False, 'pool': 'syn_db', 'email': ['xiongmaoxueyuan@xiongmaoxueyuan.com'], 'email_on_failure': True, 'email_on_retry': False, 'start_date'
Airflow 2.2.5 安装依赖 constraints-3.8.txt：详细包版本列表
在"airflow的安装文件constraints-3.8.txt"中，包含了用于Apache Airflow 2.2.5版本及其相关插件的特定依赖关系列表。该文件是在2022年3月30日07:13:50自动创建的，利用了pip的"eager-upgrade"机制，适用于Airflow的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值