最近项目开发中遇到一个棘手的问题, 原来程序中收发数据用的是同一个socket,每收发到一条数据,不仅要解析这条数据,
还要将相应的数据保存在数据库中,还要转换成多种协议格式的数据,并要将转换后的不同协议的数据推送给不同的客户端或者服
务器,另外由于每秒中收到的数据量比较大且对程序处理速度要求也比较高,原有框架该模块的性能满足不了要求,经过几天的i思
考,决定采用如下方案,并达到了预定的目标,具体方案如下:
1.socket收到数据后,先将数据放到一个消息队列中,在一个单独的线程中来读取队列,对数据进行解析,然后再将解析后的
不同数据放到不同的消息队列中(注:每个消息队列有专门的线程读取队列,同时每个队列有一个专门的端口(socket)发送数据);
2.线程同步主要采用互斥锁加条件变量的方式;
3.核心思想就是由一个主节点进行分流,将不同的数据放到多个分节点中进行处理转发;
4.数据存储,主要采用数据库事务的方式。
由于我们的项目中要求每秒中最大处理转发5000条数据即可,如果你们的项目中要处理更大数据量,可以考虑采用集群或者池
组的架构进行处理。
以前都是做伸手党,这是第一次写博客,如果说的什么不足或不明白的地方,欢迎交流。