设计照片表,包含照片ID,图片url地址,所属用户ID,所属相册ID,照片描述(140字),城市ID, 发布时的客户端IP,发布时间,已知该业务将很快达到几千万的数据量,需求包括能够获取某用户某个城市的照片列表,某个城市的照片列表,某个相册的照片列表,某用户的城市照片列表(每个城市取3张,城市顺序无要求),以上均按时间逆序排序,需分页,请写出创建表的sql语句和查询以上每个需求的示例sql语句,并简述查询语句将如何利用索引在几千万的数据量下依然能快速输出结果。
回答
没时间给你写 sql,不过可以给你一些建议。
缓存方案
当数据量达到千万或亿级的时候,你应该考虑使用合理的缓存方案,而不是跟数据库死磕
选择合适的缓存维度,在写数据的时候更新缓存值(以便使用最新数据)
同时添加/提供 Missing query 方法
数据库层面的优化
合理使用组合索引
考虑将最新数据(每个城市的最近3张图片)单独放置在一张表中
不要用函数
使用自增列排序,远比时间字段排序好的多
以上,欢迎补充。
千万级的查找,其实完全可以考虑用 一些搜索引擎了,solr , elastic search之类的。
数据库只是一种工具。
1.可以分表:比如按照用户id。hash算法拆分表等,看你选择哪个维度了。
2.做数据库组合索引。
千万数据,
1、索引
2、写主,读从
3、分库
4、分步写sql,不要join
秒级查询不是问题,没那么高深和复杂!
分区+分表+mysql多端口有效利用磁盘io+缓存