亿万级数据优化
- 优化sql 和 索引
- 加缓存 memcache 、redis
做好以上两条,如果还是慢,请看第三条
-
主从复制或者主主复制,读写分离,可以在应用层做,效率高;也可以使用第三方,推荐使用360的atlas,其他的要么效率不高,要么没人维护。
-
如果以上都做了还是慢,不要想着去做切分,mysql自带分区表,先试试这个,对你的应用是透明的,无需更改代码,但是sql语句是需要针对分区表做优化的,sql条件中要带上分区条件的列,从而使查询定位到少量的分区上,否则就会扫描全部分区,另外分区表还有一些坑,在这里就不多说了。
-
如果以上都做了,那就先做垂直拆分,其实就是根据你模块的耦合度,将一个大的系统分为多个小的系统,也就是分布式系统
-
第六才是水平切分,针对数据量大的表,这一步最麻烦,最能考验技术水平,要选择一个合理的sharding key,为了有好的查询效率,表结构也要改动,做一定的冗余,应用也要改,sql中尽量带sharding key,将数据定位到限定的表上去查,而不是扫描全部的表。
-
mysql数据库一般都是按照这个步骤去演化的,成本也是由低到高。