streamsets
文章平均质量分 78
WBBO
这个作者很懒,什么都没留下…
展开
-
StreamSets(3.22.2) Pipeline运行源码解析
streamsets pipeline 运行链路原创 2021-10-11 16:15:23 · 654 阅读 · 0 评论 -
StreamSets(3.22.2)创建一个工作流
StreamSets(3.22.2) 调研二(创建一个工作流)首先介绍工作流中的四类组件Origins: origin是一个管道工作流的源, 一个工作流只能由一个originProcessors: Processors表示您要执行的一种数据处理类型。您可以根据需要在管道中使用任意数量的ProcessorDestinations: Destinations代表工作流的目的地, 一个工作流可以有一个或多个目的地Executors: Executors在接收到事件时触发任务上一节Stream原创 2021-09-10 14:54:54 · 216 阅读 · 0 评论 -
StreamSets 3.22.2 安装部署
StreamSets(3.22.2) 安装部署: StreamSets Control Hub是所有数据流管道的中心控制点。Control Hub允许团队大规模构建和执行大量复杂的数据流。: StreamSets Data Collector是一种轻量级、功能强大的设计和执行引擎,可以实时传输数据。使用Data Collector路由和处理数据流中的数据: StreamSets Transformer是一个执行引擎,它在开源集群计算框架 Apache Spark 上运行数据处理管道。原创 2021-09-10 14:46:55 · 3874 阅读 · 2 评论