Airflow【实践 01】Airflow官网+自测源代码举例(简化安装+官方及自测python代码

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供:

在这里插入图片描述

因篇幅有限,仅展示部分资料

网络安全面试题

绿盟护网行动

还有大家最喜欢的黑客技术

网络安全源码合集+工具包

所有资料共282G,朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》,可以扫描下方二维码领取(如遇扫码问题,可以在评论区留言领取哦)~

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以点击这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

官方网站地址:
https://airflow.apache.org/docs/apache-airflow/2.7.2/,本文是基于
2.7.2版本进行的说明。

1.准备

1.1 安装

上一篇的 Quick Start 有详细的安装过程,这里做最简安装启动:

# 1.设置安装目录
export AIRFLOW\_HOME=~/airflow

# 2.创建虚拟环境并安装
# 创建并切换到airflow虚拟环境
conda create -n airflow python=3.8
conda activate airflow
pip install "apache-airflow==2.7.2"

# 3.前台启动【在虚拟环境下】
airflow standalone

1.2 查询DAG目录

  1. dags_folder目录将Python文件放置到
[root@tcloud airflow]# cat airflow.cfg | grep dags\_folder
dags_folder = /root/airflow/dags

2.官方

  1. 安装任务所需的依赖【代码执行所需要的依赖】
conda install scikit-learn

  1. 官方举例文件demo.py放置到dags_folder路径下

文件内容如下:

from datetime import datetime

from airflow import DAG
from airflow.decorators import task
from airflow.operators.bash import BashOperator

# A DAG represents a workflow, a collection of tasks
with DAG(dag_id="demo", start_date=datetime(2022, 1, 1), schedule="0 0 \* \* \*") as dag:

    # Tasks are represented as operators
    hello = BashOperator(task_id="hello", bash_command="echo hello")

    @task()
    def airflow():
        print("airflow")

    # Set dependencies between tasks
    hello >> airflow()

  1. 刷新页面即可看到DAG,点击即可执行,效果如下:

demo.jpg

3.自测

  1. 创建测试文件airflow_test.py并放置到dags_folder目录下

文件内容如下:

from datetime import timedelta
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

# DAG属性定义
default_args = {
    'owner': 'airFlowTest',
    'depends\_on\_past': False,
    'start\_date': days_ago(31),
    # 填入邮箱,方便失败、重试时发送邮件
    'email': ['xxxxx@qq.com'],
    # 失败时发邮件告警
    'email\_on\_failure': True,
    'email\_on\_retry': False,
    # 重试次数
    'retries': 1,
    'retry\_delay': timedelta(minutes=2),
    # 'queue': 'bash\_queue',
    # 'pool': 'backfill',
    # 'priority\_weight': 10,
    # 'end\_date': datetime(2016, 1, 1),bu
    # 'wait\_for\_downstream': False,
    # 'dag': dag,
    # 'sla': timedelta(hours=2),
    # 'execution\_timeout': timedelta(seconds=300),
    # 'on\_failure\_callback': some\_function,
    # 'on\_success\_callback': some\_other\_function,
    # 'on\_retry\_callback': another\_function,


### 给大家的福利


**零基础入门**


对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。


![](https://i-blog.csdnimg.cn/blog_migrate/adf0897b07ab2276161763a94ef2b8b3.png)


同时每个成长路线对应的板块都有配套的视频提供:


![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/3e4801501d80f6bd4fea8230337015a9.png#pic_center)


因篇幅有限,仅展示部分资料

**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友,可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值