airflow 2.2.1：HdfsSensor使用实操

最新推荐文章于 2025-01-13 09:50:16 发布

@zhangxingle

最新推荐文章于 2025-01-13 09:50:16 发布

阅读量809

点赞数

分类专栏： airflow 文章标签： hadoop hdfs big data

本文链接：https://blog.csdn.net/qq1277419839/article/details/124737267

版权

概述

HdfsSensor主要用于检查hdfs文件或目录是否存在

实操

案例描述：
目前需要在airflow中增加一个任务，用于检测hdfs中的目标文件是否存在。文件绝对路径：/user/hdfs/for_test_2022-05-12.parquet

代码如下

from airflow import DAG
from datetime import datetime, timedelta
from airflow.providers.apache.hdfs.sensors.hdfs import HdfsSensor

# 自定义的方法，用于将日期格式化为指定格式。其中interval表示时区。默认返回格式：2022-05-12
def