数据采集技术的难点在于哪里

　　从数据采集的类型上看，不仅要涵盖基础的数据，还将逐步包括半结构化的用户行为数据，网状的社交关系数据，文本或音频类型的用户意见和反馈数据，设备和传感器采集的周期性数据，网络爬虫获取的互联网数据，以及未来越来越多有潜在意义的各类数据。

 

　　在当今的制造业领域，数据采集是一个难点。很多企业的生产数据采集主要依靠传统的手工作业方式，采集过程中容易出现人为的记录错误且效率低下。

 

　　有些企业虽然引进了相关技术手段，并且应用了数据采集系统，但是由于系统本身的原因以及企业没有选择最适合自己的数据采集系统，因此也无法实现信息采集的实时性、精确性和延伸性管理，各单元出现了信息断层的现象。

 

　　技术难点主要包括以下几方面：

 

　　数据量巨大

 

　　任何系统，在不同的数据量面前，需要的技术难度都是完全不同的。

 

　　如果单纯是将数据采到，可能还比较好完成，但采集之后还需要处理，因为必须考虑数据的规范与清洗，因为大量的工业数据是“脏”数据，直接存储无法用于分析，在存储之前，必须进行处理，对海量的数据进行处理，从技术上又提高了难度。

 

　　工业数据的协议不标准

 

　　互联网数据采集一般都是我们常见的HTTP等协议，但在工业领域，会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议，而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议，导致在工业协议的互联互通上，出现了极大地难度。

 

　　很多开发人员在工业现场实施综合自动化等项目时，遇到的最大问题及时面对众多的工业协议，无法有效的进行解析和采集。

 

　　视频传输所需带宽巨大

 

　　传统工业信息化由于都是在现场进行数据采集，视频数据传输主要在局域网中进行，因此，带宽不是主要的问题。

 

　　但随着云计算技术的普及及公有云的兴起，大数据需要大量的计算资源和存储资源，因此工业数据逐步迁移到公有云已经是大势所趋了。但是，一个工业企业可能会有几十路视频，成规模的企业会有上百路视频，这么大量的视频文件如何通过互联网顺畅到传输到云端，是开发人员需要面临的巨大挑战。

 

　　对原有系统的采集难度大

 

　　在工业企业实施大数据项目时，数据采集往往不是针对传感器或者PLC，而是采集已经完成布署的自动化系统上位机数据。

 

　　这些自动化系统在部署时厂商水平参差不齐，大部分系统是没有数据接口的，文档也大量缺失，大量的现场系统没有点表等基础设置数据，使得对于这部分数据采集的难度极大。

 

　　安全性考虑不足

 

　　原先的工业系统都是运行在局域网中，安全问题不是突出考虑的重点。一旦需要通过云端调度工业之中最为核心的生产能力，又没有对安全的充分考虑，造成损失，是难以弥补的。

 

　　数据采集与数据分析本就是专业性很强的事情，如果不是规模特别大的企业无需投入过多的财力与时间去打造属于自己的数据采集与分析系统。由于专业性不够最后会导致采集的数据分析的结果不能指引公司做出正确的商业判断最后得不尝试。