主要介绍StreamSets-origin类组件有哪些、分类、主要用途以及使用方法。
Origin****类组件主要包含以下:
Amazon S3
Amazon SQS Consumer
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2
Azure IoT/Event Hub Consumer
CoAP Server
Cron Scheduler // 任务调度组件,用于调度数据流
Directory // 文件目录组件,用于从文件目录下读取数据
Elasticsearch // ES源组件,用于从ES中读取数据
File Tail // 文件源插件,用于从文件尾源将读取数据行
Google BigQuery
Google Cloud Storage
Google Pub/Sub Subscriber
Groovy Scripting // Groovy脚本组件,自定义groovy脚本,功能强大
gRPC Client // Google RPC客户端组件,用于从gRPC服务器获取数
本文详细介绍了StreamSets的各种origin类组件,包括Amazon S3、Hadoop FS、Kafka Consumer等多个数据源组件的用途和使用方法。这些组件涵盖了从云存储到消息队列、数据库等多种数据源的接入,用于实现大数据ETL流程。
订阅专栏 解锁全文
2578

被折叠的 条评论
为什么被折叠?



