用插件的方式解决复杂大屏的运算需求

        前边已经聊过组件和基类封装的问题,这里主要的核心问题还是边界和抽象,正好昨天客户要求改一下大屏的数据展示要求,看了看,还好在可控范围内,随手就改了并直接上线。

        也曾经了解过其他公司或者个人做的大屏,大致都是使用webapi作为接口,后端获取数据有直接查数据库的,这种方式的比较多;也有放到redis中或者其他中间件的。在我看来,做大屏无非就是牺牲空间还是牺牲时间的问题,我是选择牺牲空间,主要是内存和硬盘都不值钱。

        整理了一下我自己做的大屏微服务,说简单也简单,主要分以下几个组成部分:

        第一,数据接入层。大屏的数据来源,这个接入层用的是插件模式。例如数据来源可以是MQTT、MQ、DB等,在大屏主程序上定义一个接口,例如IReceiver,这个插件要负责把数据接收到大屏的内置数据处理池中,数据是带有数据的编号和类型的,方便后边处理数据。MQTT和MQ协议都是从外部主动推送过来的,只要开启订阅就可以了;DB需要开发轮询,且要过滤掉已经读取过的数据,这里需要和DB那边协商怎么解决,一般来说建立一个中间变,在记录中标记已读取,如果更改过的记录,就抹掉这个标记,或者直接删除掉读取过的记录,下次就没有对比了。DB操作总的来讲性能是比较低的。

        第二,数据处理层。一般来说,相同类型的的数据处理的方法是一样的,如果出现不一样,那么就另外定义一种类型。要把每次采集到的数据进入这个数据处理层加工,加工的目标就是大屏要显示的格式数据。例如大屏要做一个图表,每月的销售量曲线,每个月就一条记录,处理程序把数据即时运算,不断按数据的日期合并到对应的记录中。这种方法可以分时处理掉大量的明细数据,且是单独的线程中进行,不会影响到主线程响应前端界面的时间。这里设计一个加载接口,IDataProcess,实现类是继承DataProcess基类,每个实现类针对一种数据类型开发,即只在数据池中获取对应数据类型的元素。这个类是和数据接入层通过一个消息订阅的方式实现的,只要有新的数据进入池中,就会通知到对应数据类型的处理类,处理类就去池中获取数据,直到取完为止就停止工作。

        第三,持久化处理。分时运算的结果都是保存在内存的,为的是加快处理数据的速度。持久化处理的方式可以参考redis,不需要每次有数据变更都做一次持久化,可以定义一个时间间隔把内存中的数据保存成文件,这个过程也需要一个独立的线程,且每个文件,只有一个线程在做持久化。另外,当涉及这部分数据的程序重启,持久化处理模块要重新加载文件到内存。我比较懒,直接写成json文件就完事了。

        第四,API响应容器。分时处理好的数据,根据大屏的需求,重新组合一下放到容器中,也可能是数据处理层加工好的数据结构,这个看具体需求了。这里需要注意的是,每个数据ID必须单独建立一个容器,这样API请求的时候,直接把容器内的数据打包丢出去即可,中间无需进行任何加工,所以响应时间是杠杠的。每个容器需要实现IContainer接口,负责保存和获取数据。

        第五,插件加载器。任何程序都免不了要修改重启等,不能为了改一点点需求,把整套大屏程序重启,这也不是我的作风。加载器把上述4个组件打包成一个整体的应用,其实就是以数据处理层为切入点,在内存中停止数据处理层工作并释放所有占用的资源。然后重新加载更新好的程序包,并启动。加载器是一个单独运行的模块,内置处理对象列表,每加载一个,列表增加,也防止重复加载;关停一个,就从列表中移除并释放资源。

        大屏的主程序,只负责两部分功能,一个是提供标准的API接口,例如响应前端的请求

        /api/Screen/GetList?id=00001

        表示获取设备编号为00001的数据,主程序会向加载器找到处理程序,然后处理程序会找到自己加载的容器列表,找到00001的容器,把数据取出。主程序获取到数据后就丢给前端。

        /api/Screen/GetProcessList                                 获取当前正在运行的处理程序

        /api/Screen/Load?name="processABC"              重新加载名称为processABC的处理程序

        这样的程序结构,最小化影响整体数据,也最大程度提高了大屏的响应速度。

        由于牺牲了空间,特别是容器这一块,随着接入的设备增加,内存的消耗还是很厉害的。解决这个问题,可以使用分布式。增加一个负载均衡的入口,配置不同类型的设备请求不同的大屏微服务。如果不同的微服务处理同一个设备的数据,这样就没有必要了,毕竟是为了解决空间问题,让多台服务器来共同完成大屏服务。不过一般企业都不需要这么做,毕竟大屏展示的内容还是非常有限的,不是把系统中所有设备的数据都放到大屏上的。

        注意,大屏设计的核心不是依赖注入,这里是一个接口可以有多个实体类同时存在并加载的,所以不能使用平时的类注入方式,用反射方式加载即可。

       

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值