感谢飞信首席架构师@steadwater的分享和@suxiaoyong的总结。
SNS feed的特点:写入密集,高频度,小数据量,数据失效快。读写比大约50/1
飞信的技术选型:
1. 消息异步写入;
2. 推拉结合,对于粉丝多的用户用拉,普通用户用推,在应用层进行合并;
3. 普通用户的事件尽量保证实时性,名博可以异步处理;
4. 在数据sharding时,对名博和普通用户分别处理;
5. sharding时采用两级分组,加强灵活性;
6. 使用DRDB做mysql的master灾备;
7. 内容分发时,对于当前在线用户,使用redis的list作为cache,解决频繁请求时的刷新问题(相对于memcached也减少了内部通讯数据量)。
8. 使用redis作为队列;
9. 尽量存储json数据,减少序列化开销;
10. 使用Mysql HandleSocket作为key value存储,cpu显著下降;
11. 数据过滤等交java中间件去做,减少数据库操作复杂性;
12. sns feed对数据完整性要求不高,必要时可以丢弃舍弃部分数据
补充:
设计规模:满足14天-一个月的增长需求
使用perona发行的Mysql XtraDB 4.1
几个SNS网站数据库对比
Facebook Cassandra->HBase
Dena MySQL HandlerSocker
Sina MCDB,Redits
Taobao TAIR
SNS feed的特点:写入密集,高频度,小数据量,数据失效快。读写比大约50/1
飞信的技术选型:
1. 消息异步写入;
2. 推拉结合,对于粉丝多的用户用拉,普通用户用推,在应用层进行合并;
3. 普通用户的事件尽量保证实时性,名博可以异步处理;
4. 在数据sharding时,对名博和普通用户分别处理;
5. sharding时采用两级分组,加强灵活性;
6. 使用DRDB做mysql的master灾备;
7. 内容分发时,对于当前在线用户,使用redis的list作为cache,解决频繁请求时的刷新问题(相对于memcached也减少了内部通讯数据量)。
8. 使用redis作为队列;
9. 尽量存储json数据,减少序列化开销;
10. 使用Mysql HandleSocket作为key value存储,cpu显著下降;
11. 数据过滤等交java中间件去做,减少数据库操作复杂性;
12. sns feed对数据完整性要求不高,必要时可以丢弃舍弃部分数据
补充:
设计规模:满足14天-一个月的增长需求
使用perona发行的Mysql XtraDB 4.1
几个SNS网站数据库对比
Facebook Cassandra->HBase
Dena MySQL HandlerSocker
Sina MCDB,Redits
Taobao TAIR