主要介绍StreamSets-Executor类组件有哪些、分类、主要用途以及使用方法。
Executor类组件主要在收到事件时会触发任务。
Executor****类组件主要包含以下:
ADLS Gen1 File Metadata // 收到事件后,更改文件元数据,创建一个空文件或删除Azure Data Lake Storage Gen1中的文件或目录。
ADLS Gen2 File Metadata // 收到事件后,更改文件元数据,创建一个空文件或删除Azure Data Lake Storage Gen2中的文件或目录。
Amazon S3 // 为指定的内容创建新的Amazon S3对象,复制存储桶中的对象,或将标签添加到现有的Amazon S3对象。
Databricks Job Launcher // 收到事件记录后启动指定的Databricks作业。
Databricks Query // 收到事件后在Databricks上运行Spark SQL查询。
Email // 在收到事件后向配置的收件人发送自定义电子邮件。
HDFS File Metadata // 收到事件后,更改文件元数据,创建空文件或删除HDFS或本地文件系统中的文件或目录。
Hive Query // 收到事件记录后运行用户定义的Hive或Impala查询。
<
本文介绍了StreamSets中的Executor类组件,如ADLS、S3、Databricks作业启动器等,以及它们的主要用途和使用方法。通过示例展示了如何配置数据流,在文件读取完毕或无新数据时自动停止数据流的操作步骤。
订阅专栏 解锁全文
1510

被折叠的 条评论
为什么被折叠?



