千万级弹幕系统架构

一、技术难点

1）内核瓶颈

推送量大：加入100万用户在线，1s推送10条信息，相当于1000万条每秒的推送量

而Linux内核推送TCP的极限包频约为100万条每秒

2）锁瓶颈

加入需要维护100万在线用户的集合，一般使用字典结构进行存储

推送消息既遍历整个集合，顺序发送消息，耗时极长

而且要求推送期间客户端正常上下线，所以集合需要上锁

3）CPU瓶颈

因为浏览器与服务端通常采用JOSN格式通信，但是JSON编码是一个非常消耗CPU资源的过程

二、解决方案

1）内核瓶颈优化方向

减少网络小包发送，如可将同一秒内的N条消息合并成一条消息，合并后，每秒推送的次数只等于在线链接数

2）锁瓶颈优化方向

大锁拆分成小锁，如将连接打散到多个集合中，使每个集合都拥有自己的锁，然后使用多线程并发推送至多个集合，避免锁竞争。接下来将使用读写锁取代互斥锁，使多个推送任务可以并发遍历相同的集合

3）CPU瓶颈优化方向

减少重复计算，如将JSON编码前置，编码一次，然后直接推送到100万用户，这样合并后可使N条消息只需编码一次即可

三、结构图

1、单机架构原理图

单机瓶颈：1）维护海量长连接需要耗费极大的内存࿰