1.普通小众用户
采用pull推送模式
往粉丝消息队列里分别异步推送消息ID。
lpush和 lpop 使用。模拟栈数据结构。先进后出。
lpush user:1 1001
lrange user:1 1 10
取出10条最新消息
同理:微信朋友圈。也可以这办。展示的时候取最近的数据。
2 微博大V粉丝都有500w+,发微博时,数据到底是怎么处理的?
之前了解, 微博一个大V 粉色都有500w+的粉丝, 他每更新一条微博, 都必须推送到关注着的阅读列表中,听说刚开始一次性推送到所有粉丝的列表中,后来用信息队列,先直接发还给用户自己,在异地队列分发给所有在线的用户,然后再出来未登陆的用户, 想问下,这么大的数据量就算异步处理也有很大难度啊。哪个大神知道他的具体数据结构设计和架构设计
好像是综合PUSH和PULL模式。
对于大V用户,采用PULL模式,他发表一条微博,就放在自己的MAIL BOX里。然后他的粉丝登陆后将主动去MAIL BOX里PULL数据,这种情况计算开销会增加,但存储开销极大下降。
另外对于热门用户、热门微博,这些都是热数据,会跟冷数据区别对待的,具体处理方法比如缓存。
二线互联网公司。做缓存大多是redis。丰富的数据结构。可以模拟多种数据结构。适用各种业务场景。以及kafka等消息中间件。异步处理问题。加快相应时间。
一线互联网。缓存和消息中间件大多是自研的产品。可以自由定制和灵活扩展。
如腾讯和阿里。