Airflow 1.10安装

最新推荐文章于 2024-07-08 11:14:30 发布
最新推荐文章于 2024-07-08 11:14:30 发布
阅读量3.8k 收藏 3
点赞数 1
分类专栏： airflow

前言

本次安装Airflow版本为1.10，其需要依赖Python和DB，本次选择的DB为Mysql。

本次安装组件及版本如下：

Airflow == 1.10
Python == 3.6.5
Mysql  == 5.7

Python安装

略 详见：Python3安装(Linux环境)

安装mysql

略 详见：http://note.youdao.com/noteshare?id=d9233511a08f557b9bf4cf939f42d0b2

建库、建用户

建库

库名为airflow

create database airflow;

建用户

用户名为airflow，并且设置所有ip均可以访问。

create user 'airflow'@'%' identified by 'airflow';
create user 'airflow'@'localhost' identified by 'airflow';

用户授权

这里为新建的airflow用户授予airflow库的所有权限

grant all on airflow.* to 'airflow'@'%';
flush privileges;

Airflow安装

环境变量设置如下代码配置环境变量，此环境变量仅需要设置成临时变量即可并不需要配置成永久变量。

export SLUGIFY_USES_TEXT_UNIDECODE=yes

接下来利用pip安装airflow。

pip install apache-airflow==1.10

此时airflow会被安装到Python下的第三方包中，请记住这个地址，路径一般为${PYTHON_HOME}/lib/python3.6/sit-packages/airflow。

修改AIRFLOW_HOME 环境变量

笔者此次安装仅把HOME变量设置成临时变量，并未设置永久变量。

export AIRFLOW_HOME=/servers/airflow

执行airflow命令

在${PYTHON_HOME}/lib/python3.6/sit-packages/airflow/bin目录下执行

./airflow

此步骤是将airflow安装到刚刚设置的AIRFLOW_HOME目录下。执行这个命令可能汇报一些错误，可以不用太关注，只要保证AIRFLOW_HOME目录下生成了文件即证明本次执行成功。

安装Mysql模块

pip install "airflow[mysql]"

这里可以简单说下，airflow依赖的其他组件均可以此方式安装。在之后安装password组件同样是通过此方式。

修改Airflow DB配置

修改${AIRFLOW_HOME}/airflow.cfg

sql_alchemy_conn = mysql://airflow:airflow@localhost:3306/airflow

参数的格式为mysql://帐号:密码@ip:port/db

初始化db

新建airflow依赖的表。

./airflow initdb

修改时区为东八区

Airflow默认的时间是GMT时间，比北京时间早8小时。这种设计是为了当Airflow集群分布在不同时区的时候时间依然是相同的，不会出现时间不同步的问题。

但是在笔者接触到的场景中为单节点服务，并且即使之后拓展也是在同一个时区，所有决定将时区修改为东八时区即北京时间。

修改时区分为以下几步：

  1. 修改：airflow.cfg文件。
default_timezone = Asia/Shanghai

这里修改的是schedule的调度时间，即在编写调度时间时可以直接写北京时间。

2. 修改webserver界面右上角当前时间

修改${PYTHON_HOME}/lib/python3.6/sitepackages/airflow/www/templates/admin/master.html。

将注释部分的代码修改成红框内的代码。注释内的代码即为将系统时间转为GMT时间，修改后的代码为直接取系统时间，不做时区转换。

修改后的效果如图红框处的效果。

3. 修改webserver lastRun时间

  • 修改 ${PYTHON_HOME}/lib/python3.6/site-packages/airflow/models.py在get_last_dagrun方法上添加
def utc2local(self,utc):
        import time
        epoch = time.mktime(utc.timetuple())
        offset = datetime.fromtimestamp(epoch) - datetime.utcfromtimestamp(epoch)
        return utc + offset

图示如下：

  • 修改${PYTHON_HOME}/lib/python3.6/site-packages/airflow/www/templates/airflow/dags.html中 last_run.execution_date..strftime("%Y-%m-%d %H:%M")和last_run.start_date.strftime("%Y-%m-%d %H:%M")分别为：
dag.utc2local(last_run.execution_date).strftime("%Y-%m-%d %H:%M")
dag.utc2local(last_run.start_date).strftime("%Y-%m-%d %H:%M")

图示如下：

* (可选操作) 重启webserver

如果按照本文顺序安装则不需要执行此步骤。如果在修改时区前已经启动过airflow则需要重启webserver。启动方式在后文会写到，停服务的方式直接kill进程的方式即可。

修改后效果如图：

用户认证

本文采用的用户认证方式为password方式，其他方式如LDAP同样支持但是本文不会介绍。笔者在安装时实验过LDAP方式但是未成功过。

  1. 安装passsword组件
thopip install "airflow[password]"

2. 修改 airflow.cfg

[webserver]
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth

3. 在python环境中执行如下代码以添加账户：

import airflow  
from airflow import models, settings  
from airflow.contrib.auth.backends.password_auth import PasswordUser  
user = PasswordUser(models.User())  
user.username = 'admin'  # 用户名
user.email = 'emailExample@163.com' # 用户邮箱  
user.password = 'password'   # 用户密码
session = settings.Session()  
session.add(user)  
session.commit()  
session.close()  
exit()

配置邮件服务

此配置设置的是dag的task失败或者重试时发送邮件的发送者。配置如下：

[smtp]
# If you want airflow to send emails on retries, failure, and you want to use
# the airflow.utils.email.send_email_smtp function, you have to configure an
smtp_host = smtp.163.com
smtp_starttls = True
smtp_ssl = False
# Uncomment and set the user/pass settings if you want to use SMTP AUTH
smtp_user = mailExample@163.com
smtp_password = password
smtp_port = 25
smtp_mail_from = mailExample@163.com

接下来简单把dag的Python代码列出来，以供参考：

default_args = {
  'owner': 'ownerExample',
  'start_date': datetime(2018, 9, 18),
  'email': ['mailReceiver@163.com'], # 出问题时，发送报警Email的地址，可以填多个，用逗号隔开。
  'email_on_failure': ['mailReceiver@163.com'], # 任务失败且重试次数用完时发送Email。
  'email_on_retry': True, # 任务重试时是否发送Email
  'depends_on_past': False, # 是否依赖于过去。如果为True，那么必须要昨天的DAG执行成功了，今天的DAG才能执行。
  'retries': 3,
  'retry_delay': timedelta(minutes=3),
}

设置Executor

修改：airflow.cfg

executor = LocalExecutor

本文中由于只有单节点所以使用的是LocalExecutor模式。

修改log地址

[core]
base_log_folder = /servers/logs/airflow
[scheduler]
child_process_log_directory = servers/logs/airflow/scheduler

修改webserver地址

[webserver]
base_url = http://host:port

可以通过上面配置的地址访问webserver。

启动Airflow

启动schedule

nohup airflow schedule &

启动webserver

nohup airflow webserver -p 8080 &

问题汇总

以下几点为笔者在安装过程总所遇问题及解决方法。

  1. pip install apache-airflow==1.10 时报错：

To avoid this dependency set SLUGIFY_USES_TEXT_UNIDECODE=yes in your environment when you install

这是由于在安装之前没有添加环境变量，执行如下代码即可：

export SLUGIFY_USES_TEXT_UNIDECODE=yes

2. 初始化db时报错：

Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql

修改Mysql配置文件my.cnf，具体步骤如下：

  • 查找my.cnf文件位置
mysql --help | grep my.cnf

下图红框处为my.cnf文件所在位置：

  • 修改文件
explicit_defaults_for_timestamp=true

修改后代码如图：

注意：必须写在【mysqld】下

  • 重启Mysql
sudo systemctl restart mysql.service
  • 查看修改是否生效。执行如下SQL，如果值为1则为生效。

3. 启动webService报错：

No such file or directory: 'gunicorn': 'gunicorn'

增加环境变量：

export ${PYTHON_HOME}/bin

具体原因请看下面链接，这里不再展开讨论。

启动airflow webserver报错：FileNotFoundError: [Errno 2] No such file or directory: 'gunicorn'​www.cnblogs.com

 

4. pip install "airflow[mysql]"报错：

mysql_config not found

安装mysql-devel:

  • 首先查看是否有mysql_config文件。
find / -name mysql_config

  • 如果没有安装mysql-devel
yum install mysql-devel
  • 安装之后再次查找，结果如图：

5. 执行./aiflow 报错：

cannot import name 'CSRFProtect'

安装Flask-WTF

pip install Flask-WTF==0.14

6. 启动webserver报错：

No module named 'pymysql'

安装PyMysql

pip install PyMysql

7. 启动webserver时报错：

Error: 'python:airflow.www.gunicorn_config' doesn't exist

安装指定版本gunicorn。

Airflow1.10版本安装19.4.0版本：

pip install gunicorn==19.4.0

Airflow1.8版本安装19.3.0版本：

pip install gunicorn==19.3.0

 

 

附件dag

#!/usr/bin/python3
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta

default_args = {
    'owner': 'zll',
    'depends_on_past': False,
    'start_date': datetime(2018, 12, 15),
    'email': ['zhoull@getui.com'],
    'email_on_failure': True,
    'email_on_retry': True,
    'retries': 1,
    'retry_delay': timedelta(minutes=500),
    # 'queue': 'bash_queue',
    # 'pool': 'backfill',
    # 'priority_weight': 10,
    # 'end_date': datetime(2016, 1, 1),
}

dag = DAG('zll1', default_args=default_args)

# t1, t2 and t3 are examples of tasks created by instantiating operators
t1 = BashOperator(
    task_id='print_date',
    bash_command='date',
    dag=dag)

t2 = BashOperator(
    task_id='sleep',
    bash_command='sleep 5',
    dag=dag)

t2.set_upstream(t1)

 

[program:airflow_webserver]
command=/usr/local/bin/python2.7 /usr/local/bin/airflow webserver
user=airflow
environment=AIRFLOW_HOME="/home/airflow/airflow", PATH="/usr/local/bin:%(ENV_PATH)s"
stderr_logfile=/var/log/airflow-webserver.err.log
stdout_logfile=/var/log/airflow-webserver.out.log

[program:airflow_worker]
command=/usr/local/bin/python2.7 /usr/local/bin/airflow worker
user=airflow
environment=AIRFLOW_HOME="/home/airflow/airflow", PATH="/usr/local/bin:%(ENV_PATH)s"
stderr_logfile=/var/log/airflow-worker.err.log
stdout_logfile=/var/log/airflow-worker.out.log

[program:airflow_scheduler]
command=/usr/local/bin/python2.7 /usr/local/bin/airflow scheduler
user=airflow
environment=AIRFLOW_HOME="/home/airflow/airflow", PATH="/usr/local/bin:%(ENV_PATH)s"
stderr_logfile=/var/log/airflow-scheduler.err.log
stdout_logfile=/var/log/airflow-scheduler.out.log

在特定情况下，修改DAG后，为了避免当前日期之前任务的运行，可以使用backfill填补特定时间段的任务

  • airflow backfill -s START -e END --mark_success DAG_ID

 

mnasd
关注
专栏目录
airflow sql_alchemy_conn mysql_Airflow[v1.10]任务调度平台的安装教程
weixin_30227565的博客
02-06 369
0.背景真的是想不通，Airflow不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的，但是为何却连一个完备的安装教程都没有呢？是我的需求太高？真的是心累不已，整整把搜索引擎还有youtube翻来覆去也没让我感到满足……不过好在，一步一坑一脚印的最终搭建连通好了环境以及Operator。好了，废话不多说，开始Airflow今日份安装教程。1.安装前准...
AirFlow安装文档
06-14
airflow安装文档，步骤简单，容易理解，欢迎下载，欢迎下载
离线安装airflow-1.10.10-stable
michal521的博客
06-19 2013
环境：Linux 7.6+python3.7+airflow 1.10 准备一台和离线环境一样的虚拟机，安装Linux 7.6 redhat,配置上网（ping www.baidu.com 能通） 下载准备好的 pip ,setuptools 包，并安装python 包官方网站 找到python 的requiresment.txt 清单 在线安装airflow 打包进入离线环境安装 3 .1: 登录github 搜索apache-airflow ...
Airflow版本升级-v1.10.12-v2.4.1 生产实践
最新发布
Bitile_孟波的博客
07-08 571
Airflow v1.10.12-> v2.4.1生产版本升级实践
Airflow[v1.10]任务调度平台的安装教程
weixin_34306446的博客
06-13 602
0.背景 真的是想不通，Airflow不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的，但是为何却连一个完备的安装教程都没有呢？是我的需求太高？真的是心累不已，整整把搜索引擎还有youtube翻来覆去也没让我感到满足……不过好在，一步一坑一脚印的最终搭建连通好了环境以及Operator。好了，废话不多说，开始Airflow今日份安装教程。 1.安...
python airflow_airflow 安装，部署，填坑
weixin_39918928的博客
12-05 545
阅读本文大约需要 8 分钟。上一篇文章已经介绍过 airflow ，相信需要的人早已上网搜索相关资料，已经开始动手干了，没错，就是干，喜欢一件事件，请立即付诸行动，不要拖，时间一长，就凉了。Python 的包管理工具 pip 是一个非常优秀的工具，Python 相关的库都可以使用 pip 安装，airflow 也不例外。废话不多说，直接上操作步骤。截止目前 2018年8月14日 ，airflow ...
airflow-exporter:Airflow插件可将dag和基于任务的指标导出到Prometheus
05-11
注意：带有Python 3.8用户的Airflow 1.10.14 您应该安装importlib-metadata软件包才能加载插件。 有关详情，请参见 。 <1.10.3 兼容版本 安装 pip install airflow-exporter 就是这样。 你完成了。 将额外的...
PyPI 官网下载 | apache-airflow-zack-1.10.15.4.tar.gz
01-26
安装时，你可能需要使用 Python 的 `setup.py` 脚本来编译和安装这个库，或者通过 `pip` 进行安装，比如 `pip install /path/to/apache-airflow-zack-1.10.15.4.tar.gz`。 使用 Apache Airflow 的好处包括： 1. **...
dag-factory:从YAML配置文件动态生成Apache Airflow DAG
05-13
它需要Python 3.6.0+和Apache Airflow 1.10+。 用法 在Airflow环境中安装dag-factory之后，有两个步骤来创建DAG。 首先，我们需要创建一个YAML配置文件。 例如： example_dag1 : default_args : owner : ' ...
大数据调度平台Airflow版本升级方案文档(1.X升级到2.X)
Pushkin.的博客
07-17 649
大数据调度系统 airflow 升级方案 1.x升级到2.x版本
Airflow使用指南【About云整理】.pdf
06-30
About云整理的Airflow使用指南 1. 如何安装和配置 Airflow? 2. 如何通过 Airflow UI 监控 data pipeline （管道）并对其进行故障排除 3. 什么是 Airflow Platform ？ 4. Airflow 是如何进行数据分析，追踪数据，调试数据流的？ 5. Airflow 命令行接口的基本操作有哪些？
airflow安装部署(python)
大数据创新开发者、大数据技术开发、创新性大数据分享
05-24 3908
在线安装Airflow 组件版本: Python 3.7.2 Apache airflow 1.10.1 Mysql 5.7.24 CentOs7.8 Python安装 Centos7中，Python默认是安装的，输入python 直接可以查看版本号，入下图 注意: 如果本机安装了python2，尽量不要管它，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境， 比如yum！不要动现有的python2环境！ 安装python3依赖 命令： .
Airflow 1.10.10 安装及本地时区问题解决
python版服务器
10-19 859
airflow2.0之后的版本更改了时区问题，更改airflow.cfg文件中的default_timezone 和 default_ui_timezone为Asia/Shanghai后，发现在Airflow Web UI 上已经显示了北京时间，但是对scheduler并不起作用，需要对源码稍作修改才能使得scheduler安装 utc + 8 的时区来调度任务。 更改步骤： 1.更改配置文件： 在airflow家目录下修改airflow.cfg，设置 default_timezone = Asia/Sha
airflow1.10时区修改
weixin_33709364的博客
12-09 628
https://blog.csdn.net/crazy__hope/article/details/83688986 转载于:https://www.cnblogs.com/zjc10203/p/10091363.html
airflow 使用心得，从环境到部署上线
猴子饲养员的博客
05-12 7796
使用版本： python 3.6.8 apache-airflow 1.10.3 安装 python 环境准备 apache-airflow 对于 python 版本限制如下： requires Python '>=2.7,!=3.0.*,!=3.1.*,!=3.2.*,!=3.3.*,!=3.4.*' # wget 用于下载源码包， gcc 和 make 用于编译 yum instal...
airflow安装跳坑
家门口的知鸟
08-21 2460
python3   $ sudo /cluster/software/python-3.7.0/bin/pip3 install apache-airflow[all]   报错： Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-install-kdrobbz6/apache-airflow/ 解决...
Airflow安装详解（附airflow.cfg配置详解）
chenzuoli的博客
11-27 6875
标题: Airflow安装详解 日期: 2021-11-16 21:27:21 标签: [airflow] 分类: 调度系统 在讲airflow安装之前，我们先来了解下airflow的架构，这有助于我们去理解安装的步骤到底是干嘛的。 来看这篇文章：airflow架构 我讲的airflow是1.10.14版本的哈。 所以，如果我们搭建airflow是做大量的任务调度，那么就推荐元数据库使用mysql/postgresql，消息队列使用redis/rabbitmq。 我以mysql和rabbitmq为例来.
airflow集成ldap问题
帆了个帆的专栏
01-09 1959
airlfow集成ldap默认需要开启ssl/tls，但是配置文件中有没有开关选项，所以只能修改代码，只需要修改一个地方，vi /root/python3/lib/python3.6/site-packages/airflow/contrib/auth/backends/ldap_auth.py,找到ldap_auth.py这个文件中的get_ldap_connection方法 修改前 t...
airflow docker安装
05-04
要在 Docker 中安装 Airflow，可以按照以下步骤进行操作： 1. 首先，您需要在系统上安装 Docker。您可以在 https://docs.docker.com/get-docker/ 上找到适合您操作系统的 Docker 安装指南。 2. 接下来，创建一个 Dockerfile。在这个文件中，您需要指定所需的操作系统、Python 版本和其他依赖项，以及要安装的 Airflow 版本和其他 Python 包。以下是一个简单的 Dockerfile 示例： ``` FROM python:3.8-slim-buster RUN apt-get update && apt-get install -y \ libpq-dev \ && rm -rf /var/lib/apt/lists/* RUN pip install --upgrade pip RUN pip install apache-airflow==2.1.4 \ --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.1.4/constraints-3.8.txt" WORKDIR /usr/local/airflow RUN useradd -ms /bin/bash -d ${AIRFLOW_HOME} airflow USER airflow CMD ["bash"] ``` 3. 在 Dockerfile 所在的目录中，运行以下命令来构建 Docker 镜像： ``` docker build -t my-airflow . ``` 4. 等待镜像构建完成后，可以使用以下命令来运行 Airflow 容器： ``` docker run -it -p 8080:8080 my-airflow ``` 其中，-p 参数指定了要将容器的 8080 端口映射到主机的 8080 端口，以便您可以通过浏览器访问 Airflow Web UI。 5. 如果需要在容器中运行 Airflow 作业，您可以使用以下命令来启动 Airflow 调度程序： ``` docker exec -it <container-id> airflow scheduler ``` 其中，<container-id> 是容器的 ID，可以通过运行以下命令来查找： ``` docker ps ``` 这样，您就可以在 Docker 中安装和运行 Airflow 了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值