增加索引 + 异步 + 不落地后，从 12h 优化到 15 min

已于 2024-01-08 22:35:54 修改
阅读量1.3k 收藏 49
点赞数 37
分类专栏： 100天精通Java从入门到就业 文章标签： java 高并发 异步 线程池 学习 程序人生
于 2024-01-08 07:58:01 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/guorui_java/article/details/135423211
版权

在这里插入图片描述

目录

大家好，我是哪吒。

在开发中，我们经常会遇到这样的需求，将数据库中的图片导出到本地，再传给别人。

一、一般我会这样做：

  1. 通过接口或者定时任务的形式
  2. 读取Oracle或者MySQL数据库
  3. 通过FileOutputStream将Base64解密后的byte[]存储到本地
  4. 遍历本地文件夹，将图片通过FTP上传到第三方服务器

在这里插入图片描述

现场炸锅了！

实际的数据量非常大，据统计差不多有400G的图片需要导出。

现场人员的反馈是，已经跑了12个小时了，还在继续，不知道啥时候能导完。

停下来呢？之前的白导了，不停呢？不知道要等到啥时候才能导完。

这不行啊，速度太慢了，一个简单的任务，不能被这东西耗死吧？

@Value(
了解本专栏 订阅专栏 解锁全文
哪 吒
关注
  • 37
    点赞
  • 踩
  • 49
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 13
    评论
专栏目录
订阅专栏
SQLServer索引+性能优化.rar
06-01
在这个名为"SQLServer索引+性能优化.rar"的压缩包中，包含了一系列关于SQL Server性能优化和索引原理的PPT材料，适合初学者进行深入学习。 首先，让我们来了解索引的基本概念。在数据库中，索引就像是书籍的目录，...
MySQL索引面试题+索引优化+索引失效
10-21
在面试过程中，常常会涉及到MySQL索引的相关问题，包括索引的原理、优化技巧以及索引失效的原因等。 首先，MySQL索引是一种数据结构，用于快速定位和访问数据库中的数据。它通过创建索引列和索引对象来实现，可以...
ES-索引过程和检索过程
wbiblem的博客
05-31 3483
索引过程 创建一个IndexWriter 用来写索引文件，它有几个参数，INDEX_DIR 就是索引文件所存放的位置，Analyzer 便是用来对文档进行词法分析和语言处理的。 创建一个Document 代表我们要索引的文档。 将不同的Field 加入到文档中。我们知道，一篇文档有多种信息，如题目，作者，修改时间，内容等。不同类型的信息用不同的Field 来表示。 IndexWriter 调用函数a
ElasticSearch_11_ES的倒排索引和读写流程
毛毛的专栏
10-11 573
ES的倒排索引和读写流程
MySQL之流程控制，索引
weixin_47035302的博客
06-13 554
流程控制，索引，索引的数据结构，索引的分类与区别，联合索引与最左前缀匹配原则，索引下推技术，如何正确使用索引
索引过程－index
莱布尼兹
07-15 163
可以说这个过程就是一个"shuffle"的过程，然后进行index操作。   流程：     詳細过程： input ： 这里有几个文件，来分析各文件的作用 crawl-fetch:当获取不到last-midified time时，用来fetch time代替 crawl-parse:no use parse-data:conten-type;date等索引...
【MySQL】Innodb存储引擎关键特性之——自适应哈希索引和异步IO
weixin_55415722的博客
12-23 547
自适应哈希索引（AHI） 问题背景 众所周知，Innodb存储引擎索引底层数据结构是B+树，而B+树查找的时间复杂度取决于B+树的高度。而有一种数据结构，它查找的时间复杂度是O（1），那就是——数组。想到数组，进而联想到哈希（hash）查找方法。因此，Innodb存储引擎在B+树索引的基础上，又引入了自适应哈希索引来提高查找效率。 解决方案 Innodb会监控对表上各个索引页的查询，如果观察到建立Hash索引可以带来速度提升，则建立哈希索引，又称为自适应哈希索引（AHI）。 AHI是通过缓冲池中的B+树页构
B+Tree索引的背后
12-14
二级索引是除聚集索引外的所有索引，它们不包含完整的数据行，而是包含主键值和二级索引指定的列。当通过二级索引查找数据时，InnoDB会使用主键值在聚集索引中找到对应行。较长的主键会导致二级索引占用更多空间，...
B+树聚簇索引 精讲开发培训
12-19
在数据库领域，索引是提升查询效率的关键工具。在MySQL中，B+树聚簇索引是常用的数据结构，尤其对于大规模数据的处理至关重要。本文将深入探讨索引的本质、分类，以及B+树的优势。 首先，理解索引的本质：索引是一...
为什么MySQL数据库索引选择使用B+树?
09-09
MySQL数据库在设计索引时选择使用B+树作为底层数据结构，这主要基于以下几个原因： 首先，我们需要理解数据库索引的基本作用，它是提高数据检索效率的机制。索引通过创建一种特殊的查找数据结构，使得数据的查找、...
zoie建索引的过程以及多线程建索引的一点想法
eric的学习笔记
05-11 116
zoie的原理在之前转载的文章 中介绍过， 现在介绍一下zoie建索引的过程。 zoie建索引是一个异步消费过程，ZoieSystem使用的是父类AsyDataConsumer的consume（）函数，这个类保持一个类型为List的_batch用来装载将要进行索引的doc。AsyDataConsumer的consume函数，只是负责将doc插入到这个_batch中，并不进行具体的索引工作...
索引创建过程
july_2的专栏
08-01 533
文档的索引过程是通过 DocumentsWriter 的内部数据处理链完成的， DocumentsWriter 可以实现同时添加多个文档并将它们写入一个临时的 segment 中，完成后再由 IndexWriter 和 SegmentMerger 合并到统一的 segment中去。DocumentsWriter 支持多线程处理，即多个线程同时添加文档，它会为每个请求分配一个 DocumentsW
12. Hibernate 模板设计模式
这是一个web全栈开发的博客，取其精华去其糟粕，争取让大家一看就懂，一学就会，一用就成~
07-22 1262
如何运用模板设计模式重构 Hibernate 操作流程；持久化对象与序列化接口；OOP中有一个编码原则 ：写仅写一次。翻译过来就是，不要重复，要重用。答案是：使用模板设计模式进一步封装Hibernate的操作。在真实项目中，Hibernate仅仅只是完成项目中的一部分工作，需要和其它，如Spring等框架联合工作，一起承担整体项目的开发。Spring框架中就提供的有Hibernate模板对象。一个常规的、频繁的操作代码中，大部分代码不需要变动，只有小部分代码需要根据需求变动。
golang 接口
m0_70982551的博客
07-24 810
接口定义了一组方法，这些方法没有具体的实现。接口类型的变量可以存储任何实现了这些方法的类型的值。// 更多方法...在Go语言中，接口值是指存储了实现某个接口的具体类型值的变量。接口值由两部分组成：1.动态类型：这是接口值当前存储的实际类型。2.动态值：这是实际存储的值，该值必须实现了接口中定义的所有方法。
Swagger使用Map接受参数时，页面如何显示具体参数及说
最新发布
a1058926697的博客
07-26 365
后端使用Map接受参数，要求在swagger页面上显示具体的参数名称、类型及说明。当Map接受参数数量少时，可以使用Swagger自带的注解。自定义注解 @ApiGlobalModel。编写处理注解对应的插件。
springboot之自动装配
weixin_50153914的博客
07-23 498
Spring Boot 通过一系列注解和条件配置实现了自动装配机制，使得开发者无需手动配置大量的 XML 文件或 Java 配置类。自动配置机制利用文件中的自动配置类，并结合条件注解和组件扫描，实现了灵活且强大的自动装配功能。这样，开发者可以专注于业务逻辑的实现，而无需处理繁琐的配置细节。
淘客返利系统中的服务发现与注册机制详解
技术研究中心
07-22 2393
通过服务注册中心，服务提供者可以将自己注册到注册中心，服务消费者可以从注册中心获取服务提供者的地址，以实现服务调用。本文详细介绍了淘客返利系统中服务发现与注册机制的实现，包括Eureka的配置与代码示例。通过Eureka，我们可以轻松实现服务的注册与发现，确保分布式系统中各个服务之间的通信。在本文中，我们将深入探讨淘客返利系统中的服务发现与注册机制，并结合Java代码进行详细讲解。在我们的淘客返利系统中，我们采用Eureka作为服务发现与注册的工具。在我们的淘客返利系统中，首先需要配置Eureka服务器。
Java实现拼图小游戏
Aishangyuwen的博客
07-22 1564
Java实现拼图小游戏
Java代码基础算法练习-数的特性-2024.07.25
Sakurapaid的博客
07-25 283
小A喜欢两种性质都成立的数字，小B喜欢至少符合一种性质的数字，小C喜欢不符合这两种性质的 数字。给出一个数字，请输出三个人是否喜欢这个数字。如果喜欢输出1，否则输出0，用空格分隔。输入数字 num，先定义三个整型代表三个人的喜欢与否，先默认设为 0。之后判断num对于性质1、2的条件，分别用 boolen 类型标识。对于每个整型进行判断，是否改为 1 代表喜欢。性质2：大于4且不大于12;
利用递归实现+n+的+k+次方
11-10
以下是利用递归实现n的k次方的C语言代码： ```c #include <stdio.h> #include <stdlib.h> int PowerFunction(int n, int k) { if (k == 0) { return 1; } else if (k == 1) { return n; } else { return n * PowerFunction(n, k - 1); } } int main() { int n, k; printf("请输入n和k的值: \n"); scanf("%d %d", &n, &k); printf("%d的%d次方是%d\n", n, k, PowerFunction(n, k)); system("pause"); return 0; } ``` 输入n和k的值后，程序会调用PowerFunction函数计算n的k次方并输出结果。 --相关问题--: 1. 什么是递归函数？ 2. 递归函数有哪些应用场景？ 3. 如何避免递归函数的无限循环？
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哪 吒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值