亿级数据mysql优化

最新推荐文章于 2024-07-16 11:06:19 发布

咸鱼老罗

最新推荐文章于 2024-07-16 11:06:19 发布

阅读量6.3k

点赞数 2

分类专栏：多线程文章标签：大数据 mysql 多线程

本文链接：https://blog.csdn.net/luo4105/article/details/78580786

版权

本文介绍了在面对亿级数据时，如何通过分表分库、优化查询和多线程查询来提升数据库性能。使用mycat作为数据库中间件实现分库分表，通过加索引、切分查询条件以及采用CountDownLatch同步和线程安全队列优化多线程查询，有效解决了大数据量查询的效率问题。

摘要由CSDN通过智能技术生成

亿级数据优化

情况简介

用户分析系统以用户的心跳数据为依据，统计查询用户的各种情况。心跳数据很多，经过去重，去无效，数据量还是在2亿/月的水平。普通的查询在这个量级的数据库上根本查不出来，为此，分表分库、优化查询、多线程查询就很有必要了。

分表分库

对于大数据查询，我的第一反应就是分表分库，我之前对分表分库已经听的很多了，但自己之前并没有真的做过分表分库。我经常说分表分库，经常听分表分库，对分表分库的技术充满了兴趣，所以这次，我的意见就是上分表分库。分库分表就是按一定规则把一张大表的数据切成多个小表，查询时分组查询多个小表再把结果集集合起来。

分表其实只是对数据表的数据量的减少。比如一个1亿的表，经过分表后，会分成4个千万级别的表，对于查询sql，会在千万级别的表中执行，并把结果合并起来。在亿级查询的时间比千万级会提高很多，这个就是分表的作用。但是分表仅仅是数据量的减少，并没有去解决查询慢的问题，如果一个查询慢，及时使用分表，它还是很慢。

我们最终用mycat这个数据库中间件来进行分库分表，mycat启动后，会开启一个模拟mysql的服务端，对于插入的sql，它可以按规则自主放入对应的表中，对应查询的sql，它会自动的去各个数据库查询，并自动整合结果。