架构优化思考

问题：并发量激增、出现浪涌容易宕机如何解决？
业务场景描述1：多用户高并发信息查询，少量更新
业务场景描述2：并发量查询需要达到100w/s，假设更新的比例为10%，即10w/s

• 优化方案1：保证服务可用
  在请求进入服务前，加nginx做负载均衡。正常流量时做负载均衡。流量激增时做限流保证服务不死。横向扩容时，便于支持动态扩容。
• 优化方案2：读写分离
  - 读数据的场景多，需要针对读场景扩容、提高服务配置等，更多的保障读取正常，满足用户基本需求。
  - 服务内部使用读写锁，读使用共享锁，提高读的并发，当有写请求时，有条件的阻塞。
• 优化方案3：增加缓存，提高读性能。
  • cdn缓存，综合考虑内容更新的频率，比如内容每6小时或12小时主动更新(缓存命中率将得到极大提升)，假设缓存命中率在90%
  • 2 添加分布式缓存，nginx将请求转发值Redis，集群统一缓存服务，可大为提高缓存命中率
  • 3 服务本地添加缓存，如guava cache等LRU机制的缓存内容。(减少redis雪崩等影响)
• 优化方案4：数据库的压力。
  要实现百万级别QPS，假设查询的缓存命中率仅达到90%，每秒回源查询请求要达到10w/s。
  一般4C16G的数据库。TPS 3000/s，QPS：10000/s。
  千万级别数据量真不算大表，但遭不住密集查询。网络IO、磁盘IO瓶颈、CPU瓶颈、内存瓶颈，所以势必需要分库分表(或使用nosql等)。

1. 磁盘读IO瓶颈，热点数据太多，每次查询时会产生大量的IO，降低查询速度 --> 分库和垂直分表
2. 网络IO瓶颈，请求的数据太多，网络带宽不够 --> 分库

• 优化方案5：容灾、主备等
  搭建容灾、主备设备。