任务编排和调度神器：Apache Airflow

最新推荐文章于 2024-10-16 15:35:12 发布

玩转测试开发

最新推荐文章于 2024-10-16 15:35:12 发布

阅读量2.4k

点赞数 1

文章标签： apache python 开发语言

本文链接：https://blog.csdn.net/hzblucky1314/article/details/130664604

版权

简介：Apache Airflow是一个开源的工作流调度系统，由Airbnb创建，并于2015年开源。它使用Python编写，可以用来创建、调度和监控工作流。Airflow的工作流是由一系列的任务组成，这些任务按照依赖关系形成有向无环图（DAG）。Airflow的精髓在于其灵活性和可扩展性。使用Python代码定义工作流，使得工作流可以像普通的程序那样进行版本控制、测试和重构。同时，Airflow支持各种任务类型，包括但不限于bash命令、Python函数、SQL查询，也可以通过插件机制支持更多类型的任务和系统。

作用：主要用于数据处理的工作流管理。例如，你可以使用Airflow来定义和调度一个ETL工作流，这个工作流从多个数据源提取数据，将数据进行清洗和转换，然后将数据加载到数据仓库中。除此之外，Airflow也可以用于机器学习的工作流，自动化测试，基础设施的管理等。

工作流程：在Airflow中，工作流被定义为DAG（有向无环图）。每一个DAG由多个任务（Task）组成，每个任务都是一个可独立运行的工作单元，任务之间可以设定依赖关系。Airflow的调度器会按照DAG的结构和任务的依赖关系，自动调度和运行任务。

历史攻略：

flask+apscheduler+企业微信消息机器人推送

Python：Celery+Redis实现定时任务

Python：Celery+Redis+Flower安装和使用

Python + Jenkins + Selenium-Grid实现分布式web-ui自动化测试(centos+win10为例)

GitLab+GitLabRunner+Docker+Dockerfile+docker-compose+Flask持续集成部署

centos7.6：安装python、miniconda

环境安装：

1、安装conda：详见历史攻略

2、创建专属环境：conda create --name airflow66 python=3.8

3、激活环境：conda activate airflow66

4、安装依赖：
   pip install -i https://mirrors.aliyun.com/pypi/simple/ numpy
   pip install -i https://mirrors.aliyun.com/pypi/simple/ "apache-airflow==2.4.3"
   pip install -i https://mirrors.aliyun.com/pypi/simple/ requests


5、初始化：airflow db init

6、启动web服务：airflow webserver -p 8666 -D

7、创建账号：airflow users create --username admin --firstname tom --lastname lucky --role Admin --email tom@123.com
   根据提示：输入密码、确认密码

8、访问浏览器并登录: http://<ip>:8666

9、启动airflow调度：airflow scheduler -D

登录：

样例：

airflow构建自动化测试案例：

1、在airflow目录下创建dags

2、在dags路径下创建文件：test.py

# -*- coding: utf-8 -*-
# time: 2023/5/13 13:00
# file: test.py
# 公众号: 玩转测试开发

import unittest
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.utils.dates import days_ago
import requests


# 定义单元测试
class TestMath(unittest.TestCase):
    def test_add(self):
        self.assertEqual(add(1, 2), 3)

    def test_sub(self):
        self.assertEqual(sub(3, 2), 1)


# 定义任务函数
def add(a, b):
    return a + b


def sub(a, b):
    return a - b


def run_tests(**kwargs):
    suite = unittest.TestLoader().loadTestsFromTestCase(TestMath)
    result = unittest.TextTestRunner(verbosity=0).run(suite)
    return {
        "total": result.testsRun,
        "failures": len(result.failures),
        "errors": len(result.errors),
        "details": [str(f[1]) for f in (result.failures + result.errors)]
    }


def notify_wechat(**kwargs):
    ti = kwargs['ti']
    result = ti.xcom_pull(task_ids='run_tests')
    content = f"测试结果：\n\n总测试数：{result['total']}\n失败数：{result['failures']}\n错误数：{result['errors']}\n详细信息：{' '.join(result['details'])}"
    data = {
        "msgtype": "text",
        "text": {"content": content}
    }
    requests.post('https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=YOUR-KEY',
                  json=data)


# 定义DAG
default_args = {
    'owner': 'airflow',
    'start_date': days_ago(2),
}

with DAG(
    'test_dag',
    default_args=default_args,
    description='A simple test DAG',
    schedule_interval='* * * * *',  # 每分钟执行一次
    catchup=False,
) as dag:
    t1 = PythonOperator(
        task_id='run_tests',
        python_callable=run_tests,
        provide_context=True,
    )

    t2 = PythonOperator(
        task_id='notify_wechat',
        python_callable=notify_wechat,
        provide_context=True,
    )

    t1 >> t2