基于MES业务的Spark平台架构构建过程

上架构图

 

 

基于MES业务的Spark平台架构

1、平台采用opc对设备数据进行采集

2、应用服务器的数据服务采用WebAPI

3、关系库采用SqlServer

4、实时库采用C++进行OPC采集读取并存储

5、MongoDB和Spark在一台Centos服务器上

 

其中最主要包括：

1、大数据采集器

2、特征算法计算器（图稍后）

 

 

 

分为几个部分进行讲解：

1、基于C++封装DLL的读取

2、基于MongoDB的存储系统（Java）

3、基于RabbitMQ的日志系统（java）

4、基于Spark SQL的Mongodb数据读取

5、基于Scala的特征选择