- 博客(4)
- 收藏
- 关注
RSS订阅原创 airflow 2.2.1：HdfsSensor使用实操
概述 HdfsSensor主要用于检查hdfs文件或目录是否存在 实操 案例描述： 目前需要在airflow中增加一个任务，用于检测hdfs中的目标文件是否存在。文件绝对路径：/user/hdfs/for_test_2022-05-12.parquet 代码如下 from airflow import DAG from datetime import datetime, timedelta from airflow.providers.apache.hdfs.sensors.hdfs import Hd
2022-05-12 20:16:59
894
原创 airflow 2.2.1：HivePartitionSensor、自定义宏变量
airflow 2.21：HivePartitionSensor HivePartitionSensor功能 用于检查hive表的分区是否存在，在某些场景下可以使用该sensor来替代ExternalTaskSensor，且使用起来更加便捷。 场景描述 在数仓中这么两种表： 表1 ：daily_table，该表是按天分区的表，一天跑一次。 表2 ：hour_table，该表是按照小时分区，每个小时跑一次。 其中daily_table 依赖于 hour_table的执行，对于这种执行周期不同的任务，如果通过a
2021-12-31 19:48:59
2273
1
原创 Spring boot 自动注入KafkaTemplate 类时报错
Spring boot 自动注入KafkaTemplate 类时报错 使用spring boot 的自动注入功能时，提示这样一个错误：Bean method ‘kafkaTemplate’ in ‘KafkaAutoConfiguration’ is not loaded 后来解决了半天才发现实际上并不是代码错误，而是idea的设置有点毛病，然后按照下图修改了idea设置之后就没问题了。 说明 虽然提示有错，但实际上并不影响运行。所以，可以不用修改。 但是如果影响运行，那就需要另寻办法了。 ...
2021-01-29 20:31:42
2592
原创 Spark提交流程源码分析
说明 ①此文主要以Yarn Cluster模式为例说明提交流程 ②spark版本3.0 提交流程简图 提交流程描述 ①在YARN Cluster模式下，任务提交后会创建yarn客户端yarnClient，通过客户端和ResourceManager通讯申请启动ApplicationMaster ②随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster。 ③ApplicationMaster主线程会启动一个子线程，命名为driver,然
2020-12-20 00:00:44
349
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人