飞信SNS FEED分享

感谢飞信首席架构师@steadwater的分享和@suxiaoyong的总结。

SNS feed的特点：写入密集，高频度，小数据量，数据失效快。读写比大约50/1

飞信的技术选型：
1. 消息异步写入；
2. 推拉结合，对于粉丝多的用户用拉，普通用户用推，在应用层进行合并；
3. 普通用户的事件尽量保证实时性，名博可以异步处理；
4. 在数据sharding时，对名博和普通用户分别处理；
5. sharding时采用两级分组，加强灵活性；
6. 使用DRDB做mysql的master灾备；
7. 内容分发时，对于当前在线用户，使用redis的list作为cache,解决频繁请求时的刷新问题（相对于memcached也减少了内部通讯数据量）。
8. 使用redis作为队列；
9. 尽量存储json数据，减少序列化开销；
10. 使用Mysql HandleSocket作为key value存储，cpu显著下降；
11. 数据过滤等交java中间件去做，减少数据库操作复杂性；
12. sns feed对数据完整性要求不高，必要时可以丢弃舍弃部分数据

补充：

设计规模：满足14天-一个月的增长需求

使用perona发行的Mysql XtraDB 4.1

几个SNS网站数据库对比

Facebook Cassandra->HBase
Dena MySQL HandlerSocker
Sina MCDB,Redits
Taobao TAIR