主要介绍StreamSets-origin类组件有哪些、分类、主要用途以及使用方法。
Origin****类组件主要包含以下:
Amazon S3
Amazon SQS Consumer
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2
Azure IoT/Event Hub Consumer
CoAP Server
Cron Scheduler // 任务调度组件,用于调度数据流
Directory // 文件目录组件,用于从文件目录下读取数据
Elasticsearch // ES源组件,用于从ES中读取数据
File Tail // 文件源插件,用于从文件尾源将读取数据行
Google BigQuery
Google Cloud Storage
Google Pub/Sub Subscriber
Groovy Scripting // Groovy脚本组件,自定义groovy脚本,功能强大
gRPC Client // Google RPC客户端组件,用于从gRPC服务器获取数据
Hadoop FS // hadoop 文件系统组件,用于从HDFS中读取数据,可用集群模式下读取数据
Hadoop FS Standalone // hadoop 文件系统组件,用于从HDFS中读取数据
HTTP Client // Http客户端组件,用于从Http服务器获取数据