千万级的数据如何优化

https://www.zhihu.com/question/19719997

主从复制：http://www.cnblogs.com/Aiapple/p/5792939.html
读写分离原理：让主数据库（master）处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库（slave）处理SELECT查询操作。

1. 第一优化你的sql和索引；

2. 第二加缓存，memcached,redis；

3. 第三以上都做了后，还是慢，就做主从复制或主主复制，读写分离，可以在应用层做，效率高，也可以用三方工具，第三方工具推荐360的atlas,其它的要么效率不高，要么没人维护

4. mysql自带分区分表，sql条件中要带上分区条件的列，从而使查询定位到少量的分区上，否则就会扫描全部分区

5. 以上都做了，那就先做垂直拆分，其实就是根据你模块的耦合度，将一个大的系统分为多个小的系统，也就是分布式系统

6. 第六才是水平切分，针对数据量大的表，这一步最麻烦，最能考验技术水平，要选择一个合理的sharding key,为了有好的查询效率，表结构也要改动，做一定的冗余，应用也要改，sql中尽量带sharding key，将数据定位到限定的表上去查，而不是扫描全部的表

作者：zhuqz
链接：https://www.zhihu.com/question/19719997/answer/81930332
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。