关于mysql百万100W数据查询优化

今天群里有人说30W的数据查询慢,每次大概要0.5秒,1个页面查询10次就是5秒,很慢。

一般方法是添加索引。

于是本地测试

select * from tb  LIMIT 225000,10;

受影响的行: 0
时间: 0.163s

但看来的确是比较慢的。

1个页面有10次查询,那么就要2秒左右。


有2种解决方案:

1、select *把星号改成需要的字段,经测试,如果字段越多或字段的内容越多,那么查询速度是翻倍增长的。

或者可以把其他的字段单独放到1张表中,不要放在一起,导致单个表内容非常大,导致查询慢。

2、根据需求分析,正常用户只会看前几个页面内容,最多100页就很不错了,所以 100页*100条=1W条。也就是说用户只需要1W条信息。

可以优化limit值,limit 10000,10速度是很快的。


  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要快速插入100w数据MySQL数据库中,可以使用以下方法: 1. 使用批量插入语句:将多条插入语句合并成一条,通过一次性插入多条数据,减少与数据库的通信次数。例如,可以将100w数据分成100组,每组10000条数据,然后使用一条INSERT语句插入每组数据。 2. 关闭自动提交:在开始插入数据之前,可以将数据库的自动提交功能关闭。这样,插入所有数据后再一次性提交事务,减少了频繁的事务提交对数据库的影响,提高插入速度。 3. 使用LOAD DATA INFILE语句:该语句可以直接从文件中读取数据,并将其插入到数据库中。将100w数据保存在一个文本文件中,然后使用LOAD DATA INFILE语句一次性将所有数据导入到数据库中,避免了多次网络传输,提高了插入速度。 4. 设置合适的缓冲区大小:通过调整MySQL的配置,将插入操作的缓冲区大小设置得合理,可以提高插入速度。可以通过增加`innodb_buffer_pool_size`的值来提高缓冲区大小,或者使用`LOAD DATA INFILE`导入数据时指定`SET bulk_insert_buffer_size`参数来设置缓冲区大小。 5. 使用并行插入:通过多线程或多个连接同时插入数据,可以加快插入速度。可以将100w数据分成多个文件,然后使用不同的线程或连接同时插入这些文件中的数据。 6. 合理优化表结构:对于需要频繁插入数据的表,可以对表结构进行优化,如选择合适的数据类型和索引,避免不必要的约束和触发器等,以提高插入性能。 通过上述方法的组合应用,可以快速插入100w数据MySQL数据库中。但是插入数据的速度还受到硬件设备、数据库配置、网络状况等因素的影响,不同的环境可能会有不同的结果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值