定时任务刷数据：mysql 65w数据分页查询 每页100条，40w以后越来越慢

已于 2024-07-05 09:59:47 修改
阅读量106 收藏
点赞数 2
文章标签： mysql 数据库
于 2024-07-05 09:59:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43197840/article/details/140199285
版权

40w 后 每次查询100条需要近6分钟

解决方式：定时任务指定入参，例如0,100000（主键id>0 且 <100000）

每次在10万条里分页查询，这十万条数据刷完结束后，

再修改入参为100000,200000 以此类推

使用如上方式：10w 条处理完需要20分钟，65w月130分钟

海里真的有鱼
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mybatis定时任务列表查询分页切割
11-07
mybatis定时任务列表查询分页切割，列表查询存在风险，在框架的层面使用拦截器完成列表的分页切割
【定时任务处理中的分页问题】
最新发布
t194978的博客
08-17 319
上面所说的一些场景，是我所遇到过的一些“坑”。在真正的业务场景中，可能还会有更多更复杂的分页问题。一般来说，具体问题还是需要具体看待，不能照搬照抄，但是可以借鉴参考。以不变应万变。控制数据总量不变，这样才能准确分页。考虑异常场景。防止异常场景下，程序不断重试，阻塞后续正常任务执行。添加监控。线上问题层出不穷，做好监控可以及时发现并处理。
定时任务及分页
w2767526928的博客
06-06 432
定时任务、分页
定时任务中分页查询可能存在的数据问题及解决方案
文盲青年的博客
11-06 1529
数据查询分页 在数据查询时，由于未能对未来数据量做出正确的预估，很多情况下都没有考虑数据的分页查询。 1.1.普通查询案例 以下是查询过期订单的代码： /** 订单DAO接口 */ public interface OrderDAO { /** 查询过期订单函数 */ @Select("select * from t_order where status = 5 and gmt_c...
定时任务处理中的分页问题
hober的专栏
07-27 2230
使用定位标识来进行遍历，从而在一个调度执行期间，能够对所有待处理任务进行处理；并且对于处理异常的任务，能够在下一次调度启动时自动拉起执行。另一方面，我们可以优化任务属性，添加一个重试次数字段。当达到最大重试次数后，任务翻为失败，由人工进行处理。 具体的重试次数和调度执行时间间隔，可以由具体的业务场景来决定。这样就能尽可能减少人工干预的次数，减少人力成本。
mysql 分页优化解析
09-14
3. **按需获取数据**：在用户请求每一页时，只需根据ID查询对应的数据，使用`SELECT * FROM $table WHERE id IN ($ids)`这样的语句，可以大大提高查询效率。 4. **数据清理**：无论是临时表还是session，都需要考虑...
生成静态页面分页的示例程序代码
01-02
2. 分页逻辑：在后端，我们需要计算出当前页的数据范围，并根据总数据量和每页显示的记录数来生成页码。通常，我们需要保存两个参数：当前页码和每页记录数。 3. HTML生成：使用ASP.NET MVC或Web Forms，我们可以...
行情--卓创价格指数数据采集需求1
08-08
在IT行业中，数据采集是一项关键任务，特别是在市场分析和决策支持方面。卓创价格指数作为业内重要的参考指标，对于塑料行业的从业者来说具有很高的价值。本文将深入探讨如何针对卓创资讯网上提供的塑料价格指数进行...
基于JDBC+MySQL+Servlet+JSP+Java实现简单校园论坛系统.zip
08-16
该压缩包文件“基于JDBC+MySQL+Servlet+JSP+Java实现简单校园论坛系统.zip”包含了一个使用Java技术栈构建的校园论坛系统的源代码。这个系统利用了JDBC（Java Database Connectivity）来与MySQL数据库进行交互，...
比上一版多了分页以及定时器
07-09
spring定时器
SpringBoot集成动态定时任务
没有梦想何必远方#
05-29 214
建立数据表 CREATE TABLE `scheduled_task` ( `id` int(11) NOT NULL AUTO_INCREMENT, `task_key` varchar(128) NOT NULL COMMENT '任务key值（使用bean名称）', `task_desc` varchar(128) DEFAULT NULL COMMENT '任务描述', `task_cron` varchar(128) NOT NULL COMMENT '任务表达式', `ini
设置一个定时取数任务----每日从Tusahre平台取数入库
tutu_a的博客
04-19 913
继完成从网页接口取数任务后，想要让程序每日自动帮我执行回收数据，于是设置了一个定时任务 1、导包 import schedule import time from datetime import datetime import tushare as ts import pandas as pd import pymysql ts.set_token('****************************') pro = ts.pro_api() 2、连接数据库，建个表 ####连接数据库，如histo
Springboot整合mybatis及分页查询、定时任务）
DayDayUpTianTian的博客
06-25 4137
整了一整天，看了一位前辈的博客，在此基础上加上本人的理解及创作，哪位前辈忘记了，望谅解！不多说，直接上代码。 以上是项目的整体结构，下面是pom.xml文件信息： xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> 4.0.0 com.yan da
springboot整合quartz实现定时任务，数据库获取cron表达式多动态多任务
weixin_43931918的博客
02-16 1837
springboot整合quartz实现定时任务，数据库获取cron表达式多动态多任务
java定时统计_java 定时任务每日晚上凌晨执行数据统计
weixin_29110051的博客
03-08 999
例如：统计每日会员账户余额Page page = new Page();page.setPageSize(1000);page.setPageNum(1);do{//获取所有用户余额com.github.pagehelper.Page pages = PageHelper.startPage(page.getPageNum(),page.getPageSize());List list = mem...
一个分页的定时任务（curl实现） 的接口实现方式详解！
一亩地的专栏
01-29 1464
一个分页的定时任务（curl实现） 的接口实现方式详解！ //定时任务，跳页面请求接口 public function meAPI(){ header("Content-type:text/html;charset=utf-8"); $page = isset($_GET['page']) ? $_GET['page'] : 1; $urlPage = C('ME')."...
Django实现分页和定时任务
m0_61653001的博客
06-06 708
为什么要使用定时任务定时任务相当于我们平时使用的闹钟，定时任务可以自动完成操作命令，定时备份系统数据等定时任务是按照指定时间周期运行的短任务。使用场景为在某个固定时间点，为所有运行中的节点做时间同步。定时任务是基于时间控制的短时任务（Job），类似于Linux系统的crontab文件中的一行，在指定的时间周期运行指定的短时任务。· 在给定时间点只运行一次。· 在给定时间点周期性地运行。定时任务可以在一定程度上可以帮我们简化一些功能，节省一些时间，在此处我们就使用一个较为简单的方法来实现django的定时任务
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值