主要介绍StreamSets中Edge数据流设计,以系统硬件指标采集为例,将从指定的机器上采集相关指标,并将指标发送到数据流中进行处理。
Edge数据流是使用较少资源在远端设备运行的工作流(支持的设备系统包括:linux、mac、win、arm等),主要工作物联网设备终端进行数据采集以及进行简单的数据处理,达到终端设备的智能处理,另外,数据在终端设备中进行简单处理,可以减少数据传输,减少带宽占用。
(1)创建一个Edge数据流

(2)设置数据流,将System Metrics拖入,用于设备硬件指标的采集;将Expression Evaluator、Field Remover拖入,用于将hostid、hostname从hostInfo中提取处理,并删除多余的hostInfo数据;将Destination组件的HTTP Client的组件拖入,用于将数据发送到HTTP 服务端(数据收集端)。
本文介绍了如何使用StreamSets Edge创建数据流,以系统硬件指标采集为例,详细阐述了从创建Edge数据流,设置数据采集、处理组件,到数据发送到HTTP服务端的全过程,旨在实现物联网设备上的智能数据处理和带宽优化。
订阅专栏 解锁全文
309

被折叠的 条评论
为什么被折叠?



