关于数据采集的两大机制，强化中间层vs弱化中间层？

目前在综合能源数据采集的各种场景中，各系统开发商普遍采用网关、通信管理机、协议转换器、数据集中器（以下统称简称为集中器）等来解决底层众多表计的硬件接口和软件协议（以下简称协议N）转换问题。对上普遍采用MODBUSTCP、IEC104、Q/GDW376.1、MQTT等通信协议（以下简称协议A），这种协议转换的数据采集通信方式（如图1）和采用以上上行通信协议主要有以下缺陷（如表1），这也是本文试图要解决的技术问题。

 

缺陷	描述	影响举例
数据的时间标志不精确	数据取自集中器内部存储器缓存，数据的时间标志偏离数据的真正发生时刻。时间标志是数据的生命，时间标志不精确影响数据质量，进而影响统计分析的意义。	总、分数据不同期，相减得负数等数据质量问题
对物联网平台屏蔽了底层表计	物联网平台无法直接读写表计数据，无法直接感知表计状态，如图1集中器的上下行无直接关联	增删改表计等运维门槛高，强依赖集中器
集中器及其下表计的远程配置、软件远程升级能力不足	实施与通信调试成本高，效率低，缺乏工程化。	静态的采集不能满足现场动态变化，数据质量越来越差
不利于功能扩展	新通信协议的表计接入、原有表计采集信息点新增，需要付出成本新开发或实施，集中器协议转换与业务未解耦	项目成本高，盈利困难

表1

 

图1

 

2 技术背景

对于MODBUSTCP、IEC104、MQTT这种框架性的协议，需要集中器与物联网平台协调信息点的分类（遥测遥信遥调等）、数据类型（整型浮点等）、地址类型（字双字）与地址分布（信息点地址与物理含义的对应关系），对于Q/GDW376.1这种类型的协议虽然格式固定但需要不断扩展功能码来满足综合能源数据采集中的数据采集需求变化。本质上这些协议没有在该硬性限制的地方进行限制（如采集成功报文数据需带其发生时刻的时间标志上传），反而与业务耦合在一起，不能兼容被采集对象的变化，使物联接入忙于在集中器、物联网平台各个地方扩展协议，调试通信协议的工作中，大大提高了接入成本，降低了接入效率，影响了数据质量。

Q/GDW376.1协议中数据透明转发（AFN=10H，以下简称协议B）是与本发明最接近的技术方案。与本发明一样，该方案是仅利用集中器的硬件接口进行透明转发，数据报文透传。在众多表计各种通信协议报文基础上，覆以必要的报文转发所需端口、波特率、校验等信息作为头尾。在这头尾的包含下，物联网平台使用表计的原始报文与最底层表计进行直接通信，对于被包含的表计原始报文不做任何处理仅通过物理接口转发。其通信流程如下图2。可见图1是一种强化集中器功能的思路而图2是弱化。与本发明一样，该方案也是试图通过改变数据采集机制来解决协议可扩展性问题。

 

图2

 

 

3 目的

 

1. 采用协议转换的数据采集通信方式，强化网关功能，虽然带来了物联网平台软件开发的便利性，但必然会造成严重依赖中间层数据集中器等硬件设备。对于功能扩展，表计或信息点的增删改势必要受制于人，必然造成接入成本的提高，接入效率的降低，接入门槛的提高；
2. 由于屏蔽了底层表计，集中器及其下表计的远程配置、软件远程升级能力不足。对于运营维护、实施调试人员不透明，技术掌握难度大，肉眼分析通信报文排查各层各段之间通信异常问题、数据质量问题难，带来种种不利于快速工程化问题；
3. 集中器处于数据通信中间层，对于数据的缓存和处理，造成数据与其时间标志偏离和物联网平台无法越过集中器去感知和判定底层表计的真实当前状态。

本物联网协议（以下简称C）发明既是通过改变数据采集机制来实现协议与业务解耦合，支持灵活扩展，降低接入难度和成本，保证数据质量，提高系统可靠性的目的。

 

4.1 技术方案阐述      

 

图3

图2方案优于图1，但同步的采集方式，对通信信道的实时性提出了很高的要求，物联网平台超时、集中器超时任何一个发生问题此次采集即告失败。而对于现场上行常用的GPRS/CDMA和下行的载波信道，就其自身硬件技术而言优势均不在单次通信的实时性上。同时同步模式不利于集中器自主对表计进行周期性采集，必须由物联网平台发起限制了多样化的采集应用（如主动上报，任务按优先级执行）。为解决以上问题，在图2方案的基础上得出本发明技术方案，如图3。

经过异步模式改造，集中器能够分担物联网平台不断下发请求的部分工作，直接按设置的周期性任务执行，将结果（表计返回报文）主动上报给物联网平台或被动等待物联网平台来采集周期性任务的执行结果。各信道的通信成功率要求会大大降低，可配置（具体见通信协议设计）设备重复执行暂时失败的任务直至成功为止，这样偶发的通信失败便不会影响某次数据交互的最终结果。

4.2 技术方案实现

技术方案具体实现见附录1，通过三条“指令”即可兼容所有种类协议的表计数据采集，减少对中间层数据集中器的软件依赖，将复杂性留在远程运维、修改扩展便利的物联网平台去处理。降低底层现场的技术难度和复杂性，避免底层的不稳定对数据采集成功率和数据质量的影响。将精力放在扩展集中器硬件接口和物联网平台协议兼容性，协议实现完备性方面。