调度工具—AirFlow 安装指南

已于 2023-02-03 09:05:21 修改
阅读量1.1k 收藏
点赞数
文章标签： python
于 2023-02-03 09:03:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014071959/article/details/128860551
版权

Airflow

基本知识和安装教程参考

Airflow 入门及使用 - 知乎 (zhihu.com)

Airflow 1.10安装 - 知乎 (zhihu.com)

Centos 7 安装Airflow_西卡同学的csdn的博客-CSDN博客

Airflow 和 Azkaban的选型

新建环境

# 注意版本问题哦~最好一致
python=3.7
airflow==1.10.3

# Note 注意 airflow 版本问题！！！ pip 安装的时候注意指定版本！！！！！
# 高版本的 airflow 会出现比较多的 no module named xxx 错误
# eg： No Module named airflow.contrib.auth
# eg:  No Module name airflow.www.fab_security

添加环境变量

vim /etc/profile

export AIRFLOW_HOME=~/airflow

source /etc/profile

cd /root/airflow  
# 注意这个文件保存的是 airlfow 的配置文件 后期需要进行修改
# 如果安装高版本之后发现报错进行不下去， 重新安装的 airflow 的时候 先卸载 pip install apache-airflow, 然后删掉这个目录 rm -rf ~/airflow
# 然后干掉mysql里面的 ariflowdb(自己建的数据库, 名字可能不一样, 有的教程是 airflow) 数据库

环境准备

yum install mysql-devel gcc gcc-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

# 不建议之间修改默认的 pypi 数据源, 后期如果安装一些比较新的包, 清华镜像源可能没有，但是大概率是有的，直接修改默认镜像源没什么问题
python3 -m pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple/

pip install paramiko -i https://pypi.tuna.tsinghua.edu.cn/simple/

pip install apache-airflow==1.10.3  -i https://pypi.tuna.tsinghua.edu.cn/simple/

python3 -m pip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple/

# pip install apache-airflow-providers-mysql==2.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple/
# pip install apache-airflow[all]  -i https://pypi.tuna.tsinghua.edu.cn/simple/
# pip install apache-airflow[mysql]  -i https://pypi.tuna.tsinghua.edu.cn/simple/

配置 airflow 元数据库

mysql -uroot -pBdp2020!!

create database airflowdb;
grant all PRIVILEGES on airflowdb.* to airflow@'localhost'  identified by 'Bdp2020!!';
flush privileges;

修改配置文件

cd ~/airflow  # 自行注意自己的安装目录

vim airflow.cfg
# airflow 默认使用 sqlite 所以需要修改配置文件改为 mysql
# 配置连接mysql   30行
# 具体行数待定, 建议将配置文件拖到本地, 使用 sublime 或者其他文本编辑器直接编写
# 注意这里输入的是自己的 mysql 的 ip, user, password, port 和 database
# 注意 database 的名字一致, 不同教程创建的数据库名不一样
# 注意自己的连接 MySQL 的引擎
# 需要安装 pymysql
sql_alchemy_conn = mysql+pymysql://root:Bdp2020!!@192.168.19.3:3306/airflowdb

# 配置登录ip和端口号  460行
# 修改为本机 ip 端口号注意防止占用, 建议不使用默认的 8080, 这个端口使用的很多
 = http://localhost:33333
web_server_host = 192.168.19.3
web_server_port = 33333

#设置airflow用户名和密码
#在[webserver]下面配置  447行
# auth_backend --》 auth_backends 注意版本
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth

# 修改时区, 默认的是 UTC
default_timezone = Asia/Shanghai

初始化

# airflow db init # 高版本执行指令, 低版本直接用下面的
airflow initdb

设置 web 登录用户和密码

安装 password 插件

pip install "apache-airflow[password]" -i https://pypi.tuna.tsinghua.edu.cn/simple/

airflow.cfg

[webserver]
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth

在python环境中执行如下代码以添加账户

import airflow  
from airflow import models, settings  
from airflow.contrib.auth.backends.password_auth import PasswordUser  
user = PasswordUser(models.User())  
user.username = 'admin'  # 用户名
user.email = 'example@163.com' # 用户邮箱  
user.password = 'admin'   # 用户密码
session = settings.Session()  
session.add(user)  
session.commit()  
session.close()  
exit()

高版本踩坑记录, 可能有帮助

# 下面都是高版本的指令, 低版本没有这个参数 需要注意版本问题
# airflow users create  --lastname user --firstname admin --username admin --email admin@qq.com --role Admin --password admin
# airflow users create --role Admin --firstname YeeHn --lastname sun --password 123456 --username sunyh --email 2286123610@qq.com

  • 可能的报错

    1. No Module named MYSQLDB

      • 没有安装连接 MySQL 驱动

        pip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple/
# 根据自己的操作系统选择安装, 我这里是 linux 所以安装这个
yum -y install MySQL-python

# easy_install mysql-python (mix os)
# pip install mysql-python (mix os)
# apt-get install python-mysqldb (Linux Ubuntu)
# cd/usr/ports/databases/py-MySQLdb && make install clean (FreeBSD)
# yum install MySQL-python (linux Fedora, CentOS)
# pip install mysqlclient (Windows)

    2. No Module named airflow.contrib.auth

      • 版本问题, 切换低版本。第一次安装跟着这个教程来，大概率不会碰到。

    3. No Module name airflow.www.fab_security

      • 版本问题，切换低版本。第一次安装跟着这个教程来，大概率不会碰到。

    4. airflow.exceptions.AirflowConfigException: error: cannot use sqlite with the LocalExecutor

      • 安装高版本的 airflow 和 低版本的 cfg 文件不兼容问题，第一次安装跟着这个教程来，大概率不会碰到。
      • 直接干掉 rm -rf ~/airflow
      • 然后重装 airlow 1.10.3

    5. Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql

    6. ALTER TABLE xxx ADD COLUMN xxx VARCHAR(35)

      • 如果已经执行过一次 airflow db init （安装高版本各种导包失败。所以会有遗留问题）那么会在 airflowdb 中生成表, 所以再次初始化额时候会报错。

      • 直接干掉这个 airflowdb 库, 然后再新建, 然后执行 airflow initdb

        drop database airflow
create database airflow
grant all PRIVILEGES on airflowdb.* to airflow@'localhost'  identified by 'Bdp2020!!';
flush privileges;

启动 web 页面

airflow websever -p 33333

使用案例

后面再补

YeeHn
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
airflow安装
arya_zhang的博客
11-06 4173
这个是官方的安装教程：https://pythonhosted.org/airflow/installation.html 我也是按照这个流程进行安装： 1、export $AIRFLOW_HOME=指定路径/airflow //设置环境变量 2、sudo pip install airflow //下载了一系列依赖的python包放在了python的site-packages下
Airflow安装指南（精华版）
moon_love_banana的博客
11-12 2868
改原创文章同步发表在我的个人公众号：Hadoop非权威指南，欢迎关注 airflow是一款大数据平台任务调度的开源工具，优雅的可视化操作深得人心，话不多说，直接附上安装教程（由于比较简单，不附图了，后续考虑写一篇小白版） 首先声明操作环境： airflow--Version : 1.8.0centos--release 6.9 (Final)python--2.7.3 [1]系统如果没有pip组件，应该先安装： $ wget https://bootstrap.pypa...
Airflow安装配置和使用
weixin_62015493的博客
04-10 1257
Airflow是一个由Airbnb开发的开源工作流平台，使用Python编写。它基于DAG（有向无环图）进行任务管理，可以方便地实现任务的调度、监控和管理。与crontab等传统任务管理工具相比，Airflow不仅解决了任务依赖问题，还能方便地查看任务的执行状况、追踪任务历史执行情况，并在任务执行失败时发送邮件通知和查看错误日志。Airflow拥有与Hive、Presto、MySQL、HDFS、Postgres等数据源交互的能力，并且提供了钩子（hook）使其具有良好的扩展性。
Linux和win10下anaconda的安装airflow及使用总结.docx
12-25
anaconda的安装airflow及使用总结
Airflow：工作流调度的原理与使用指南
最新发布
Aaron_945的博客
06-17 1378
Airflow 使用 Python 的 DAGs（Directed Acyclic Graphs，有向无环图）来定义工作流。DAGs 是一系列相互依赖的任务（tasks），它们按照特定的顺序执行。每个任务都可以是任何你想要执行的代码，例如 SQL 查询、Python 函数调用或 API 调用等。
airflow的安装
junjunzai123的博客
08-15 1933
随着任务的增多, 需要顺序的自动执行, 这个时候就需要有一款合适的框架, 对工作流进行执行和监控, 所以在这里选择了airflow的使用.根据以上的步骤, 可以很快的安装和搭建起airflow, 后期就是对其部署和使用了, 部署和使用待下期更新~~~.
工作流管理框架airflow-安装部署教程
Trisyp的博客
01-18 2951
Airflow是一个以编程方式编写，用于管理和调度工作流的平台。可以帮助你定义复杂的工作流程,然后在集群上执行和监控这些工作流。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。Airflow的可扩展Python框架可以让你构建连接几乎任何技术的工作流程。丰富的用户界面可以随时查看生产中正在运行的管道，帮助你管理工作流程的状态，监视进度以及需要时对问题进行故障排除。
Airflow安装及使用
AU3 && C++
07-14 1230
Airflow是一个以编程方式编写，安排和监视工作流的平台。使用Airflow将工作流编写任务的有向无环图（DAG）。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道，监视进度以及需要时对问题进行故障排除变的容易。
Airflow简介
yuan_jiaoyoung的博客
03-02 4317
Airflow 是一个 Airbnb 的 Workflow 开源项目，使用Python编写实现的任务管理、调度、监控工作流平台。Airflow 是基于DAG(有向无环图)的任务管理系统，可以简单理解为是高级版的crontab，但是它解决了crontab无法解决的任务依赖问题。与crontab相比Airflow可以方便查看任务的执行状况（执行是否成功、执行时间、执行依 赖等），可追踪任务历史执行情况，任务执行失败时可以收到邮件通知，查看错误日志。
airflow指南
10-23
### Airflow 指南 #### 一、Airflow 简介 Airflow 是一个由 Airbnb 开发的工作流管理系统，旨在帮助用户编程化地创建、调度和监控工作流程。相较于仅用于编写 ETL（Extract Transform Load）管道的工具如 Bonobo，...
airflow-on-kubernetes:在Kubernetes上运行Apache Airflow的指南的源代码-apache source code
03-25
Apache Airflow是一款强大的工作流管理工具，用于编排、调度和监控复杂的任务执行流程。将Airflow部署在Kubernetes（K8s）集群上可以充分利用K8s的可扩展性和容错性，使得Airflow的工作流能够灵活地适应动态的云环境...
Airflow:AirFlow 是一个以编程方式创作、调度和监控数据管道的系统
06-30
2. **docs**：文档目录，包含Airflow的用户指南、开发者文档等。 3. **tests**：测试用例，用于验证Airflow的功能和性能。 4. **scripts**：脚本文件，可能包含安装、初始化或运行Airflow的命令。 5. **config**：...
airflow-yarn-executor-plugin:利用YARN执行任务的实验气流执行器-进行中
04-27
Apache Airflow是一款强大的工作流管理工具，用于编排、调度和监控复杂的业务逻辑。在Airflow中，执行器（Executor）是负责运行任务的核心组件。本项目“airflow-yarn-executor-plugin”专注于开发一个实验性的执行...
airflow-training
03-26
Python 的易读性和丰富的库生态系统使得 Airflow 成为了一个强大的工具，适用于各种不同的任务，包括数据科学、ETL（提取、转换、加载）流程、持续集成/持续部署（CI/CD）等。 在 "airflow-training-main" 这个...
win10 安装部署 Airflow
基咯咯
04-15 7839
简介： 官网：https://airflow.apache.org/ Airflow 是 apache下孵化项目，是纯 Python 编写的一款非常优雅的开源调度平台。 Airflow是一个以编程方式编写、调度和监控工作流的平台。 使用Airflow按照任务的定向非循环图（DAG）编写工作流。在遵循指定的依赖项的同时，Airflow计划程序在一组程序上执行任务。丰富的命令行实用程序使在DA...
windows系统安装airflow模块(一)
luolang_103的博客
08-16 6007
airflow 是啥？ 官方网站： https://airflow.apache.org/_api/index.html Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 来编写的平台上运行。Airflow是通过...
Airflow环境搭建
weixin_63881558的博客
03-23 2736
Airflow环境搭建
15运维了解流程编排工具 Airflow 的基本用法，包括 DAG 编写、任务调度
玩机科技社的博客
03-10 3811
Airflow 是一个基于 Python 的开源流程编排工具，它可以帮助用户创建、调度和监控复杂的工作流程。它是由 Airbnb 公司开发的，并在 2015 年开源，目前已成为 Apache 基金会的顶级项目之一。可编程：使用 Python 语言进行编写，支持自定义操作和扩展。可扩展：支持通过插件扩展功能。可调度：可以在指定时间运行任务，支持依赖性和优先级调度。可监控：提供丰富的监控和日志记录功能，方便用户监控任务执行状态和调试问题。
Airflow安装详解（附airflow.cfg配置详解）
chenzuoli的博客
11-27 6761
标题: Airflow安装详解 日期: 2021-11-16 21:27:21 标签: [airflow] 分类: 调度系统 在讲airflow安装之前，我们先来了解下airflow的架构，这有助于我们去理解安装的步骤到底是干嘛的。 来看这篇文章：airflow架构 我讲的airflow是1.10.14版本的哈。 所以，如果我们搭建airflow是做大量的任务调度，那么就推荐元数据库使用mysql/postgresql，消息队列使用redis/rabbitmq。 我以mysql和rabbitmq为例来.
airflow 安装
08-29
要安装Airflow，你可以按照以下步骤进行操作： 1. 确保你已经安装了Python和pip。Airflow需要Python 3.6或更高版本。如果你还没有安装Python，请先安装它。 2. 使用pip安装Airflow。打开命令行终端，并运行以下命令： ``` pip install apache-airflow ``` 这将自动安装Airflow及其依赖项。 3. 初始化Airflow数据库。在命令行终端中，运行以下命令来初始化Airflow的元数据库： ``` airflow initdb ``` 这将创建一个SQLite数据库文件，用于存储Airflow的任务和元数据。 4. 启动Airflow的Web服务器和调度器。在命令行终端中，运行以下命令： ``` airflow webserver -p 8080 airflow scheduler ``` 第一个命令将启动Airflow的Web服务器，可以通过浏览器访问 http://localhost:8080 来查看Airflow的用户界面。第二个命令将启动Airflow的调度器，用于执行任务。 这样，你就成功安装并启动了Airflow。你可以使用Airflow来编排、调度和监控各种任务和工作流程。请记得根据你的实际需求进行配置和使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值