数据采集的可靠性和准确性

在接口集成的可靠性和准确性方面，针对以下几种情况，系统提供一种或多种解决措施，采用不同的数据确认机制，以保证传输的高可靠性。

1.对于外部子系统已经提供确认机制的接口，依据提供的数据确认机制流程，数据采集程序定制性开发数据传输确认机制模块，以保证数据的收发可靠性和准确性。

2.对于从外部子系统获取固定周期数据，数据采集程序以采集周期为单位进行判断，确认数据是否存在缺失，在发现数据缺失情况下，及时记录日志并提醒。

3.对于从外部子系统获取的全部数据，依赖分布式消息中间件（Kafka）实现消息的缓存。消息中间件（Kafka）通过消息持久化操作来解决因为服务器的异常崩溃而导致的消息丢失，通过事务机制实现和消息通道设置成确认模式来实现消息确认机制，保证告警和控制等数据的100%传输可靠性。

4.基于预先定义的标准接口和规范，开发适配解析器，为数据采集程序开发提供二次开发包。适配解析器作为消息生产者，预先封装与消息队列统一通讯功能，将不同传输协议解析结果构造成消息发布到消息队列，消息处理者从消息队列中获取消息进行处理。基于适配解析器，针对不同厂商的产品，依据设备和传输协议的不同，按照标准规范要求，定制化扩展相对应的适配解析器程序和加工处理程序。另外，通过这种方式将消息产生和消息处理分离开来，第三方可以透明的增加新的消息生产者或者新的消息消费者任务。

5.对多个子系统集成的数据采集程序，部署在利用Zookeeper搭建的实时数据服务集群服务器上，因为一个应用由多台服务器提供，当某台服务器发生故障时，负载均衡或者系统的失效转移机制会将请求转发到集群中其他服务器上，是服务器故障不影响整个业务流程运行，极大地保障了对多个系统集成的可行性和稳定性。

作者：皮皮杂谈
链接：https://www.jianshu.com/p/031d4833a39a
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。