网络处理数据性能优化

 最近项目开发中遇到一个棘手的问题, 原来程序中收发数据用的是同一个socket,每收发到一条数据,不仅要解析这条数据,

还要将相应的数据保存在数据库中,还要转换成多种协议格式的数据,并要将转换后的不同协议的数据推送给不同的客户端或者服

务器,另外由于每秒中收到的数据量比较大且对程序处理速度要求也比较高,原有框架该模块的性能满足不了要求,经过几天的i思

考,决定采用如下方案,并达到了预定的目标,具体方案如下:

1.socket收到数据后,先将数据放到一个消息队列中,在一个单独的线程中来读取队列,对数据进行解析,然后再将解析后的

不同数据放到不同的消息队列中(注:每个消息队列有专门的线程读取队列,同时每个队列有一个专门的端口(socket)发送数据);

2.线程同步主要采用互斥锁加条件变量的方式;

3.核心思想就是由一个主节点进行分流,将不同的数据放到多个分节点中进行处理转发;

4.数据存储,主要采用数据库事务的方式。

由于我们的项目中要求每秒中最大处理转发5000条数据即可,如果你们的项目中要处理更大数据量,可以考虑采用集群或者池

组的架构进行处理。

以前都是做伸手党,这是第一次写博客,如果说的什么不足或不明白的地方,欢迎交流。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值