主要介绍StreamSets中Edge数据流设计,以系统硬件指标采集为例,将从指定的机器上采集相关指标,并将指标发送到数据流中进行处理。
Edge数据流是使用较少资源在远端设备运行的工作流(支持的设备系统包括:linux、mac、win、arm等),主要工作物联网设备终端进行数据采集以及进行简单的数据处理,达到终端设备的智能处理,另外,数据在终端设备中进行简单处理,可以减少数据传输,减少带宽占用。
(1)创建一个Edge数据流
(2)设置数据流,将System Metrics拖入,用于设备硬件指标的采集;将Expression Evaluator、Field Remover拖入,用于将hostid、hostname从hostInfo中提取处理,并删除多余的hostInfo数据;将Destination组件的HTTP Client的组件拖入,用于将数据发送到HTTP 服务端(数据收集端)。