Apache Airflow快速入门

Airflow快速入门

本文会指导你在本地环境启动一个Airflow的单例应用

注意事项
安装需要Python3环境。自Airflow2.7.0开始，支持Python 3.8、 3.9、 3.10、 3.11 以及 3.12
目前只有`pip`安装是官方支持的
虽然使用其他工具如 poetry 或者 pip-tools也能安装，但是他们的工作流与pip不一致，尤其是约束与需求的管理。因此poetry 或者 pip-tools的安装方式当前不被官方支持
已知使用bazel安装airflow可能会遇到循环依赖的问题。如果你遇到了就改用pip安装。bazel社区已经在想办法修复该问题，可能在未来版本解决。

参考本文，Airflow的安装就很简单。Airflow通过约束文件来支持重复安装，因此推荐使用pip和约束文件进行安装。

1. 设置Airflow安装目录（可选）
   Airflow使用~/airflow作为默认安装目录，你也可以通过设置AIRFLOW_HOME变量来自定义位置。注意设置安装目录必须在安装之前。
   export AIRFLOW_HOME=~/airflow

2. 使用官方定义的约束文件安装Airflow

   AIRFLOW_VERSION=2.9.1
   
   # Extract the version of Python you have installed. If you're currently using a Python version that is not supported by Airflow, you may want to set this manually.
   # See above for supported versions.
   PYTHON_VERSION="$(python -c 'import sys; print(f"{sys.version_info.major}.{sys.version_info.minor}")')"
   
   CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
   # For example this would install 2.9.1 with python 3.8: https://raw.githubusercontent.com/apache/airflow/constraints-2.9.1/constraints-3.8.txt
   
   pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"
   

3. 启动Airflow单例应用
   airflow standalone
   该指令包括了初始化数据库，创建admin用户，以及启动所有的组件

4. 打开Airflow UI页面
   在浏览器访问 localhost:8080，登录admin用户，admin用户的账号信息会打印在在控制台。在首页面启动DAGexample_bash_operator

执行完上述指令，Airflow会在$AIRFLOW_HOME目录下创建airflow.cfg文件，文件中包含了默认的配置信息，便于你快速上手。你可以通过环境变量覆盖这些默认配置，详见 官方配置文档。你可以在$AIRFLOW_HOME/airflow.cfg或者页面菜单Admin->Configuration查看配置信息。webserver的PID文件会存储在$AIRFLOW_HOME/airflow-webserver.pid，如果是通过systemd启动的，则存储在/run/airflow/webserver.pid。

默认情况下，Airflow使用SQLite作为数据库，但是你应该很快就会弃用它，因为它不支持后端的并发处理。它通过SequentialExecutor协同工作，串行执行任务队列。不过即使它性能很差，但是能够让你快速的启动应用，并认识了解UI页面及指令

随着你越来越深入了解，以及部署生产应用，你将要脱离现在使用的standalone指令，详见生产部署

这里给一些触发task实例的指令，运行这些指令可以让你能够看到example_bash_operatorDAG的工作过程及状态变化：

# run your first task instance
airflow tasks test example_bash_operator runme_0 2015-01-01
# run a backfill over 2 days
airflow dags backfill example_bash_operator \
    --start-date 2015-01-01 \
    --end-date 2015-01-02

如果你想要手动启动Airflow的各个部分，而不是统一使用standalone启动，可以这样做：

airflow db migrate

airflow users create \
    --username admin \
    --firstname Peter \
    --lastname Parker \
    --role Admin \
    --email spiderman@superhero.org

airflow webserver --port 8080

airflow scheduler

参考

https://airflow.apache.org/docs/apache-airflow/stable/start.html