Apache Airflow数仓持续发布实践

0.数仓持续发布整体流程

开发在特性分支完成开发，合并代码到各个环境的分支 feat -> sit/prd

在 sit可以不设置权限控制，让开发自行合并，prd环境需要设置权限控制，需要进行code review后才能进行合并。

经过代码审核后，审核人员在gitlab上点击merge request 按钮，随即触发gitlab webhook发出http请求，然后通过 airflow-gitlab-webhook 插件触发 代码同步的dag, 在该dag中使用git pull命令拉去代码，即可实现代码持续发布的功能。

1.前置信息

airflow已经在以下三台机器上安装好，节点角色信息如下

airflow_webserver:webserver

airflow_worker1:worker

airflow_worker2:worker

三个节点已经配置好hosts(在/etc/hosts 文件中添加)信息及ssh 互信 (每个节点都要配置 且需要配置自己的 使用 ssh-keygen -t rsa , ok 后 再 ssh-copy-id ${host_name}) 

2.安装配置airflow-gitlab-webhook

在airflow_webserver节点安装 airflow-gitlab-webhook

pip install airflow-gitlab-webhook

cd /opt/airflow

vim airflow.cfg

再最后面加上下面的配置 ()

[gitlab_plugin]
repository_url = ssh://git@git_host:port/data_warehouse.git  # git地址为示例，需要根据自己的实际情况进行修改
dag = data_warehouse_sync # webhook 触发的 dag的 dag_id

3.重启webserver

ps -ef|egrep 'airflow-webserver'|grep -v grep|awk '{print $2}'|xargs kill -9

rm /opt/airflow/airflow-webserver.pid

airflow webserver -D

4.在gitlab上配置 webhook信息

选择自己的输出仓库，如 data_warehouse

a.点击Integrations进入 webhook配置页面

b.添加 airflow webhook的url链接

示例 http://airflow_webserver:8080/webhooks/gitlab/push

c.选择push events添加仓库分支信息，执行需要发布的分支

d.点击webhook即可 添加成功

e.完成后可以点击Test -> Push events

若成功会返回200

5.创建airflow 代码同步dag

mkdir -p /opt/airflow/dags/ops

vim data_warehouse_sync.py

from datetime import timedelta
# The DAG object; we'll need this to instantiate a DAG
from airflow import DAG
# Operators; we need this to operate!
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

default_args = {
    'owner': 'airflow',
    'start_date': days_ago(2),
    'depends_on_past': False,
    'email': ['airflow@example.com'],
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'queue': 'default', 
    'pool': 'default', 
}
dag = DAG(
    'data_warehouse_sync',
    default_args=default_args,
    description='data warehouse codes sync',
    schedule_interval=None,
    concurrency=3,
    max_active_runs=1, 
    catchup=False
)

worker1_code_sync = BashOperator(
    task_id='worker1_code_sync',
    bash_command="ssh airflow@airflow_worker1 'cd /opt/airflow/dags/data_warehouse; git pull'",
    dag=dag,
)

worker2_code_sync = BashOperator(
    task_id='worker2_code_sync',
    bash_command="ssh airflow@airflow_worker2 'cd /opt/airflow/dags/data_warehouse; git pull'",
    dag=dag,
)

webserver_code_sync = BashOperator(
    task_id='webserver_code_sync',
    bash_command="ssh airflow@airflow_webserver 'cd /opt/airflow/dags/data_warehouse; git pull'",
    dag=dag,
)

[worker1_code_sync,worker2_code_sync,webserver_code_sync]

ssh airflow@airflow_worker1 'mkdir -p /opt/airflow/dags/ops'

ssh airflow@airflow_worker2 'mkdir -p /opt/airflow/dags/ops'

scp data_warehouse_sync.py airflow@airflow_worker1:/opt/airflow/dags/ops/.

scp data_warehouse_sync.py airflow@airflow_worker2:/opt/airflow/dags/ops/.

6.小结

通过上面的一系列安装及配置，完成了整个数仓持续发布流程的配置，配置好之后，每次合并到各个环境分支的时候，整个流程就会自动的更新代码，减少人工操作，让整个发布流程变得顺畅，极大的提高了生产效率。

欢迎加入Apache Airflow技术交流群

或者加入QQ群 704721809。