史上最全面 centos7安装 apache-airflow(2020-09-30)

环境需要

  1. VMware虚拟机(博主使用的是15.0)

  2. centos镜像 链接:http://mirrors.aliyun.com/centos/7/isos/x86_64/ 在这里插入图片描述

  3. centos7安装Python3 链接:https://blog.csdn.net/qq_42166308/article/details/108883092

  4. centos7安装mysql8.0 链接:https://blog.csdn.net/qq_42166308/article/details/108849906

  5. 安装airflow

  6. 启动airflow webserver
    在这里插入图片描述

前面的准备安装工作,就按照博主的链接一步步来,稳得很!!!接下来接着上面来安装airflow

配置airflow
vi /etc/profile
# 进入后插入以下配置
export AIRFLOW_HOME=/usr/local/airflow
export SLUGIFY_USES_UNIDECODE=yes

修改完后执行:是配置文件生效!

source /etc/profile
安装airflow
pip3 install apache-airflow -i https://pypi.douban.com/simple

安装成功截图:
在这里插入图片描述
在这里插入图片描述

初始化数据库表(默认使用本地的sqllite数据库)

查找pip3安装airflow的路径

find / -name airflow

在这里插入图片描述
airflow命令在以下路径中
在这里插入图片描述
之后执行初始化:

./airflow initdb

执行成功后,接着出现下面就表示成功!!!
在这里插入图片描述

创建软连接

软连接就相当于Windows的快捷方式

ln -s /usr/local/python3.6.8/bin/airflow /usr/bin/airflow
ln /usr/local/python3.6.8/bin/gunicorn /usr/bin/gunicorn
启动airflow webserver
airflow webserver

成功如下:
在这里插入图片描述
然后访问 http://0.0.0.0:8080/admin/就会出现画面:
在这里插入图片描述

使用mysql数据库

【注意】:因为使用上面的sqllite数据库他只是会支持单线程任务,所以我们需要使用到mysql或者其他的Oracle都可以。这里只说mysql

博主这里使用的是mysql8.0因为可以使用窗口函数

  1. 先创建一个airflow数据库,root用户授权看上面那个文章
create database airflow

2.退出数据库,安装pymsql

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pymsql

3.修改airflow.cfg这个文件(寻找自己的位置)
在这里插入图片描述
在这里插入图片描述
修改成自己的数据库root密码。
4.最后执行一步初始化仓库就OK了

airflow initdb

5.这时候你就会发现进入数据库use airflow 后出现很多依赖表

use airflow;
show tables;

在这里插入图片描述

OK,完美成功的安装了。然后在

airflow webserver
airflow scheduler

成功的启动airflow-localexecutor可以支持多线程任务!!

如果觉得有用可以点个赞,支持一下博主!!

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值