一次job的耗时优化经历

最新推荐文章于 2024-07-11 13:00:00 发布
最新推荐文章于 2024-07-11 13:00:00 发布
阅读量384 收藏
点赞数
原文链接：https://yq.aliyun.com/articles/609805
版权

一、先聊聊需求

说起这次优化，有点奇葩，从耗时12小时到1分钟，优化经历了三次，和自己纠结了N次，看看结果还算安慰。

1.故事背景

恰逢大促东风，不如顺势来个商品破盘，运营、技术、产品联手一搏提升商品的丰富度。那这次的问题就从这个需求开始了。。。

2.需求描述：快速提升商和品的数量，从现有的商品池中捞出符合规则的数据。

3.功能实现：功能很简单，就是后台通过定时JOB的方式将疑似商品表的数据进行状态更新。over~

二、再聊聊方案

1. 第一种方案(标签：单线程执行、无缓存、有三方依赖)

（1）方案图

  • 疑似商品总数：180w+
  • Page数(50条上限，后面会解释原因)：3w+
  • Thread池数：1
  • 是否有缓存：无

image

（2）执行逻辑

类似的小任务也写过不少，自以为轻车熟路，方案也很顺手，顺手就是一坨代码：
step1：从ODPS表中将疑似商品数据同步到应用的DB表中，做好数据准备
step2：分页获取offer数据，每页必须按照50条数据来执行逻辑。之所以定死这个页数上线，是由于标第三方HSF的接口的限制，用过的童鞋都知道，性能上限每次最多传入50条Id。先忍一忍，继续实现功能。
step3：循环遍历每页，通过第三方接口check是否打上标。然后把已打上标的商品放到一个list集合中。
step4：将list里offer依次循环回写状态
至此coding结束，迫不及待的将任务Run起来。又看看表已凌晨1点多，算了，睡上一觉明天收割数据。早上醒来，蛋疼是事情发生了，才跑了100w的数据，并且一直在报超时。异常显示“HSF TimeOut：OfferQueryServiceException：xxxx”，很显然批量接口不行了，必须优化。

（3）执行结果

本次执行task处理offer数量180w+条，总耗时739分钟，虽然能顺利跑完，但已吐血。简单总结下~

本方案满足了三无条件：

  • 无缓存
  • 无多线程
  • 无延时策略。

本方案暴露的问题：

  • 第三方的接口依赖成为性能瓶颈，多频次的循环调用会造成应用的强依赖和性能瓶颈
  • 本次处理的数据量还是比较大，单Thread方案肯定不合适，
  • ODPS表同步DB每周才执行一次，数据的实时性比较弱，完全可以缓存调用offerQueryService的接口，提升性能
  • hsf超时严重，需要增加sleep降低调用频次的时间间隔

2.第二种方案(标签：多线程执行、有缓存、有三方依赖)

（1）方案图

  • 疑似offer总数：180w+
  • Page数(50条上限，后面会解释原因)：3w+
  • Thread池数：6
  • 是否有缓存：增加offer接口调用1小时的缓存
  • 并发策略：根据线程池数量动态分配数数据的起止页，并发执行

image

（2）执行逻辑

按照方案一的暴漏问题，逐一优化：

  • step1：增加线程和数据页数的动态分配策略
         image
  • step2：多个线程并发执行，并增加sleep降低访问依赖频率
    image
  • step3：增减读取offerQueryService的tair存储。

（3）执行结果

本次执行task处理offer数量180w+条，总耗时127分钟，时间提升82%，期间无任何异常抛出，终于可以静静的吃瓜了。但又想了想，是不是还有更好的思路可以解决这个问题呢：

  • 能不能将时间控制在分钟级别？
  • 能不能不依赖第三方接口？
  • 能不能不用缓存降低数据丢失或未被命中的概率？

本方案也暴露一些问题：

  • 始终在围绕解决方案一暴漏问题在优化，思路没有打开
  • 最大的瓶颈还是依赖第三方接口，必须降级去掉
  • tair已经做到常态化演练，申请空间又是MDB模式，数据丢失成为一种风险。

3.第三种方案(标签：嵌套SQL、无三方依赖、批量优化)

（1）方案图

  • 疑似offer总数：180w+
  • Page分页：不需要
  • Thread池数：不要要
  • 是否有缓存：不需要

image

（2）执行逻辑
从头开始理解需求，无非就是想把疑似商品找出来，然后回写状态。能不能找到替代调用三方接口的方案来验证结果。脑暴一番，果然有。。。

  • step1：替换掉接口依赖，使用odps中的离线xxx表中的数据，然后同步到DB中。这不看起来比较麻烦，但一劳永逸，为后续的性能优化起到关键行作用，直接将时间降级至分钟级。
  • step2：求交集，将DB表1和DB表2联合查询，结果即为已经完成升级的offer列表
  • step3：优化update方法为批量更新，至此over

（3）执行结果

本次执行task处理offer数量180w+条，总耗时<<1分钟，时间提升100%，期间无任何异常抛出。

三、小结

回头想想这次优化的经历，总结有三点：

  • 来一个需求先不要着急码代码，分析好场景和数据基础，然后选择最优的技术方案。避免后续的返工
  • 思路方向很重要，往往很复杂的方案背后，换种思路会更爽
  • 事情搞完后和自己纠结下，往往会有新的发现
xxljob从入门到精通-全网段最全解说
lifetragedy的专栏
06-05 1万+
XXL-JOB特性一览 基本概念 xxljob解决的是以下几个痛点： 1） 跑批处理监控无法可视化，当前跑批的状态是：成功？失败？挂起？进度？为什么失败/原因？ 2）批处理任务不可重用，特别是无法对批处理任务做：定时？重复使用？频次？其中路由调度？ 3）批处理任务无法做到网格计算（特别像：websphere ibm grid computing）即批处理任务本身可以做成集群、fail over、sharding 由其是批处理任务可以做成“网格计算”这个功能，有了xxljob后你会发觉特别强大
开篇词：一次服务雪崩问题排查经历
吴就业
09-22 666
笔者想跟大家分享笔者经历的一次服务雪崩事故，分析导致此次服务雪崩事故的原因。或许大多数读者都有过这样的经历，这是项目给我们上的一次非常宝贵的实战课程。 什么是服务雪崩？ 雪崩一词指的是山地积雪由于底部溶解等原因而突然大块塌落的现象，具有很强的破坏力，在微服务项目中指由于突发流量导致某个服务不可用，从而导致上游服务不可用，并产生级联效应，最终导致整个系统不可用，使用雪崩这个词来形容这一现象最合适不过...
DataStage：DataStage Job优化指导原则（不定时更新中）
01-26 2956
使用DataStage也有一段时间了，在实际工作中也经常从同事处零星的获取一些优化技巧，网上也能找到一些Job优化的小技巧点。但总觉得没有一篇相对有水平且完整的从方法论的高度阐述Job优化的文章。本文根据本人长期的DataStage开发实际经验，从Job优化的方法论的指导原则的角度，阐述一些自己的愚见。希望能对奋斗在DataStage Job开发一线的朋友们有一定的实际帮助。另外由于实际能力所限，
大数据之Spark调优：Job 优化之 整体优化
weixin_43597208的博客
09-21 139
在 Spark 项目开发阶段，可以使用 client 模式对程序进行测试，此时，可以在本地看到 比较全的日志信息，日志信息中有明确的 Task 数据本地化的级别，如果大部分都是 PROCESS_LOCAL、NODE_LOCAL，那么就无需进行调节，但是如果发现很多的级别都是 RACK_LOCAL、ANY，那么需要对本地化的等待时长进行调节，应该是反复调节，每次调节完以后，再来运行观察日志，看看大部分的 task 的本地化级别有没有提升；看看，整个spark 作业的运行时间有没有缩短
记一次每日跑批任务耗时性能从六分钟优化到半分钟历程及总结
秋夜无霜
08-21 1724
话说做了一个产品需求上线后，涉及到有一个每日凌晨七点跑批任务，跑批查询出来的待处理订单也就1100单作用，但是耗时却花费了5~6分钟，虽说跑批中，又调用外部服务，但是仅仅在空闲时间，鉴于此情况 我觉得这个跑批任务有优化的空间，伴随着一次次性能优化，最终耗时优化到只需平均20多秒就跑批完毕，鉴于此，写一篇自己的优化过程分享给大家。 一、业务概述 话说我们产品需求有个每日凌晨七点，之所以为什么是定时，还要凌晨七点，那是由于在你跑批之前，中后台也有一步步跑批任务，只有等他们跑完任务，我们才能发起跑批调用，否.
oracle jobs 执行耗时,JOB——手工指定Oracle中job执行的时间间隔
weixin_39970855的博客
04-03 529
一、JOB时间间隔的问题我们MIS系统中需要建立一些JOB，比如客户会要求在月底自动生成一些报表统计信息。在指定JOB的执行时间时，一般我们会选择在每月月底的午夜来执行(或者有多个JOB，应该分散在不同的时间段来执行)。此时不能直接用sysdate来确定时间，因为每次执行后，oracle自动生成的下一次的执行时间，会有几秒的延迟。比如，我指定第一次执行时间为：2008-03-27 10:58:01...
设置后台JOB自定义执行时间
FQHX_116的博客
05-05 785
场景：设定3个月执行或者设置1分钟执行一次的JOB 注意点：JOB执行时间最小单位1分钟 如果实时性要求更高的话只能用代码实现参考：https://blog.csdn.net/FQHX_116/article/details/116426620?spm=1001.2014.3001.5501 如下操作 SM36 设置需要的时间即可 ...
一次查询一条数据花费6分钟的SQL优化到0.05s的经历
Silence-墨轩的博客
03-17 2169
环境：阿里云ECS Oracle 11.2.0.1 ADG 最近数据库晚上在0点到2点之间的报表任务job运行时间明显上升，如下是截取7天快照DB TIME所看到的情况： 虽然并没有影响到日终的进行，但是由于上次造成alert出现snapshot too old的事件以后，还是觉得需要看一下为好，索性就找了当天的0点到1点的a
Android性能优化面试题
xiangzhihong8的专栏
04-30 144
Android的性能优化涉及多个方面，如启动优化、稳定性优化、内存优化、网络优化、电量优化、安全优化等方面。
云原生架构下的性能优化与调优
最新发布
kkchenjj的博客
07-11 875
在云原生架构中，性能指标是衡量系统运行效率的关键。这些指标包括但不限于响应时间、吞吐量、资源利用率、延迟和并发用户数。例如，响应时间是指从客户端发送请求到接收响应的时间，吞吐量则是单位时间内系统能处理的请求数量。资源利用率，如CPU和内存使用率，帮助我们了解系统是否在高效地使用资源。延迟和并发用户数则分别反映了请求处理的等待时间和系统同时处理的用户数量。
Quartz Job耗时太久问题
Just Do It ——张俊永
04-24 6187
前端时间由于工作需要研究了下QUARTZ这个调度器，在网上看了蛮多的资料，其中说 的最少最不明白的就是关于QUARTZ的有状态和无状态的 JOB，QUARTZ是怎么处理的，网友们基本上都是说有状态的JOB时，当这次任务没有完成，而下次触发的时间又来了时，都认为是挂起，等待，要考虑很 复杂的情况，本人看了QUARTZ的源码的实现方案，现将QUARTZ的实现机制描述如下：  QUARTZ的有
性能优化之 JobSystem
麦迪儿的博客
04-18 446
Job System是 Unity 引擎提供的一套用于多线程编程的工具，它的目的是提高游戏的性能。Job System采用数据驱动的方式进行任务调度，能够将一些计算密集型的任务分配到多个 CPU 核心上执行，从而加速游戏的运行速度。
巧妙使用xxl-job分片任务完成大数据量消费，实现无状态分布式任务
01-30 3451
现有一个需求，需要在很短的时间内将数据库中的数据在限定时间内完成，比如一个小时完成1万笔业务数据并回写数据消费完状态，在测试过程当中一台机器去消费数据很慢，而且消费数据量可能短时间内暴增，需要动态增加处理能力，在没有使用xxl_job前,是使用redis分布式锁完成的，主要是每个消费者一定要取...
job处理缓慢的性能问题排查与分析
congbao6525的博客
01-17 612
昨天开发的同事找到我说，生产有个job处理数据的速度很慢，想让我帮忙看看是怎么回事，最近碰到这种问题相对比较多了，但是问题的原因也是五花八门。我还是大体找他们了解了下情况，说有一个Job是处理文件传输的，但是从目前的运行情况来看...
设立Job同步数据时存在的几个问题(Oracle)
weixin_34082177的博客
08-17 119
　　设立一个Job，每10分钟从数据源抓一次数据处理并更新自己的表格。例如当11分时执行，抓0分到10分Edit的数据，21分执行抓10分到20分Edit的数据。 抓取的判断标志是一个Edit_Date的列(记录该列的编辑时间) 大于 begin_date 小于 end_date。 　　这样做会产生一些问题。首先数据源的列一直在更新，而我们要抓取0分到10分有更新过的所有列，就不能延迟到11分...
Oracle定时器（Job）各时间段写法汇总
03-26 725
对于DBA来说，数据库Job再熟悉不过了，因为经常要数据库定时的自动执行一些脚本，或做数据库备份，或做数据的提炼，或做数据库的性能优化，包括重建索引等等的工作。但是，Oracle定时器Job时间的处理上，千变万化，今天我把比较常用写法汇总如下： 在总结之前，先把Job的参数一一说明一下： job参数是由Submit()过程返回的binary_ineger。这个值用来唯一标识一个工作； wha
深入解读Job System（1）
aikb6223的博客
10-15 261
https://mp.weixin.qq.com/s/IY_zmySNrit5H8i0CcTR7Q 通常而言，最好不要把Unity实体组件系统ECS和Job System看作互相独立的部分，要把它们看作用于大幅提升游戏性能的组合系统。 本系列文章我们将深入了解使用二者开发项目的过程，从而使项目获得高性能。今天我们来了解ECS和Job System的基础知识，了解ECS请阅读：《...
quartz 一次触发执行多次job
05-20
在 Quartz 中，一个 Job 可能会被多个 Trigger 触发执行。但是，如果你想要一个 Trigger 触发执行多个 Job，可以使用 Quartz 的 JobChainingJobListener 来实现。 JobChainingJobListener 允许我们在一个 Job 执行完成后自动触发另一个 Job 的执行。这样，你就可以在一个 Trigger 触发的情况下执行多个 Job。 以下是一个实现示例： ```java // 创建 JobDetail 对象 JobDetail job1 = JobBuilder.newJob(Job1.class).withIdentity("job1").build(); JobDetail job2 = JobBuilder.newJob(Job2.class).withIdentity("job2").build(); // 创建 Trigger 对象 Trigger trigger1 = TriggerBuilder.newTrigger().withIdentity("trigger1") .startNow().build(); // 创建 JobChainingJobListener 对象 JobChainingJobListener listener = new JobChainingJobListener("listener"); listener.addJobChainLink(job1.getKey(), job2.getKey()); // 将 listener 注册到 Scheduler 上 scheduler.getListenerManager().addJobListener(listener); // 将 JobDetail 和 Trigger 注册到 Scheduler 上 scheduler.scheduleJob(job1, trigger1); ``` 在上面的示例中，我们创建了两个 Job：Job1 和 Job2。然后，我们创建了一个 Trigger，并将其与 Job1 关联。接下来，我们创建了一个 JobChainingJobListener 对象，并将其注册到 Scheduler 上。最后，我们将 Job1 和 Trigger 注册到 Scheduler 上。 当 Trigger 触发 Job1 的执行时，JobChainingJobListener 会自动触发 Job2 的执行。这样，一个 Trigger 就可以触发多个 Job 的执行了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值