Airflow单机安装与配置

1. 基础环境准备

此处为避免Python环境相互影响， 利用Anaconda中的conda命令，做到环境隔离。首先安装Anaconda（具体安装步骤很多，此处不再赘述），附下载地址。Anaconda下载。Linux机器用wget即可获取。

创建、激活虚拟环境

conda create -n airflow python=3.7
conda activate airflow

2. 安装与配置Airflow

这一步主要参考 Airflow 1.10.12 安装，具体命令如下：

# 选择安装位置
export AIRFLOW_HOME=~/airflow
# 安装默认版本，当前为 1.10.12
pip install apache-airflow
# 初始化自带数据库SQLite
airflow initdb
# 之后就可以直接启动
# 如果想前台启动
airflow webserver -p 8890
airflow scheduler
# 杀死前台进程：直接Ctrl + C
# 如果想后台启动
airflow webserver -p 8890 -D
airflow scheduler -D
# 杀死进程：在AIRFLOW_HOME目录下
cat airflow-webserver.pid | xargs kill -9
cat airflow-scheduler.pid | xargs kill -9
# 如果要后面启动报错，删除.pid文件。

一般情况，我们对SQLite不太熟悉，或者从应用场景上说，MySQL更适合，我们需要将默认的SQLite数据库改为MySQL（在本机安装MySQL过程不再赘述，安装完成后，create database airflow）。另外将Executor改成Local模式。
在配置文件airflow.cfg中：

# vim airflow.cfg 修改以下配置
executor = LocalExecutor
sql_alchemy_conn = mysql://用户名:密码@localhost:3306/airflow
# 安装airflow对MySQL的支持
pip install apache-airflow[mysql]
# 启动报错的话，可能需要安装mysql-devel
yum install mysql-devel
# 初始化airflow数据库
airflow initdb
# 关闭后重启airflow
cat airflow-webserver.pid | xargs kill -9
cat airflow-scheduler.pid | xargs kill -9
airflow webserver -p 8890 -D
airflow scheduler -D

登录服务器的IP与端口，可以打开页面，当前配置的端口为8890。