airflow
雷禄辉
交流治愈愚拙,分享使人进步。
展开
-
Airflow 报警邮件定制化
使用过airflow的应该都知道,通过在DAG文件中配置default_args可以设置邮件,但是收到过邮件的人都会发现邮件内容非常的少,有些必要信息并不会显示出来,这样就不能满足我们的生产需求,因此本文主要讲解如何定制化自己的邮件内容。1. 配置参数,如下所示default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': days_ago(1), 'email': ['xxx原创 2022-05-23 19:07:50 · 1763 阅读 · 1 评论 -
Airflow DAG声明的3种方式
先说明一下我使用的airflow 2.2.4版本 第一种使用标准构造函数,将dag通过参数传递进去 import pendulumfrom airflow import DAGfrom airflow.operators.python import PythonOperatordag = DAG( dag_id='hello_world', start_date=pendulum.datetime(2022, 1, 1), schedule_interval=N...原创 2022-04-30 20:17:53 · 737 阅读 · 0 评论 -
airflow的安装部署
1. 安装python3.6.8http://www.voidcn.com/article/p-pxlwdned-byr.html, yum -y安装对应的依赖2. 在线安装airflowpip3 install apache-airflow3. 执行airflow命令,在哪里执行就会在哪里生成配置文件mysql要创建一个airflow库,同时my.cnf 设置explicit_defaults_for_timestamp=1修改airflow.cfg配置文件4.初始化数据库配置.原创 2021-06-30 12:32:04 · 867 阅读 · 0 评论 -
浅谈Airflow调度系统
一、调度系统1.1 为什么需要调度系统?因为⼤数据的任务多、复杂化就会有不同的需求:单个任务 串联、并联任务 要⽀持⼦节点、依赖节点 数据抽取 任务失败重试机制 补数机制 发邮件等任务种类多、需求多样化所以说我们需要调度系统1.2 调度系统有⼏多⼯作之后,很多童鞋和我⼀样最先接触到的应该是Linux⾃带的定期执⾏程序命令 crontab,使⽤简单、运⾏稳定、上⼿容易但是也有⾃⼰的缺点⽐如任务多了之后⽆法管 理、没有依赖关系。因此我们在这⾥对crontab不做过多介绍,主原创 2020-11-29 20:00:29 · 1324 阅读 · 0 评论