【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（一）

最新推荐文章于 2024-03-06 17:15:52 发布
VIP文章 最新推荐文章于 2024-03-06 17:15:52 发布
阅读量5.8k 收藏 10
点赞数 4
分类专栏： 项目展示 文章标签： SpringBoot Redis EasyPoi Excel导入 redis消息队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangdongchuan1995/article/details/79277834
版权

【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（一）
【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（二）
【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（三）
【效果演示】：JavaWeb毕业设计项目-足球队管理系统（四）引入Excel_To_DB项目+源码
【码云地址】：https://gitee.com/ydc_coding

前言：

这是一款将Excel表格中的数据导入至数据库中的小工具，为什么会突然想做这个呢？
这是源于两次抱怨，第一次抱怨是发生在公司开发的人事系统正式在审计局上线前的培训会上，甲方使用人员提出:为什么没有批量导入数据的功能，在这之前，他们已经在使用另外一款其他公司开发的功能类似的系统，需要将那边系统的数据同步至这个新的系统上，如果只能依次手动输入的话，他们工作量反而增大了….
第二次是来自审计局服务办运维同事的抱怨：新上线人事系统中的个人基础数据需要进行更正校验，将之前试运行阶段中添加进去的数据与人事处最新发布的个人信息相匹配，将有变化的数据进行更正或删除新增…这已经是第二次校验了，上一次足足花了2天的时间才完整的手动校验完成…

分析：
依照上诉同事的需求(甲方的需求呢？嗯？甲方的需求？甲方刚刚又提什么需求了？？？)，个人感觉可以往以下几个方面去考虑：

  • 因为需要同步的数据是变化的，全国这么多服务办，每个地区数据库里的字段又不太相同，所以不能实体类的字段名称“写死”，并且在对应mapper中用注解的形式绑定sql语句，方便后期运维同事自行维护。
  • 从过程上来分析，我们需要对传入的数据进行至少两层操作，例如首先对传入的数据进行格式校验，再将数据插入数据库后返回的结果进行判
最低0.47元/天 解锁文章
D.Chuan
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（三）
DChuan
02-08 2223
【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（一） 【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（二） 【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（三） 【码云地址】：https:/...
【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（二）
DChuan
02-07 2173
【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（一） 【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（二） 【Excel_To_DB】SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库（三） 【码云地址】：https:/...
Excel_To_DB:一款将Excel表格中的数据导入至数据库中的小工具，SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库
05-18
Excel_To_DB 一款将Excel表格中的数据导入至数据库中的小工具，SpringBoot+EasyPoi+Redis消息队列实现Excel批量异步导入数据库 详细介绍：
easypoi使用excel模板导入10万条数据到数据库
最新发布
zjlovezhc的博客
03-06 251
批量导入10万+条数据到数据库解决方案
pytask-io:Python异步任务队列
05-16
重要信息：已归档，等待重写... 使用asyncio的异步任务库 一个基于Asyncio的任务队列，其设计非常易于使用！ 阅读文档： 安装 pip install pytask-io docker run redis # Rabbit MQ coming soon... 用法 from pytask_io import PyTaskIO # Starts the task runner pytask = PytaskIO ( store_port = 6379 , store_host = "localhost" , db = 0 , workers = 1 , ) # Start the PytaskIO task queue on a separate th
Redis上实现分布式锁以提高性能的方案研究
01-19
背景： 在很多互联网产品应用中，有些场景需要加锁处理，比如：秒杀，全局递增ID，楼层生成等等。大部分是解决方案基于DB实现的，Redis为单进程单线程模式，采用队列模式将并发访问变成串行访问，且多客户端对Redis的连接并不存在竞争关系。 项目实践 任务队列用到分布式锁的情况比较多，在将业务逻辑中可以异步处理的操作放入队列，在其他线程中处理后出队，此时队列中使用了分布式锁，保证入队和出队的一致性。关于redis队列这块的逻辑分析，我将在下一次对其进行总结，此处先略过。 接下来对redis实现的分布式锁的逻辑代码进行详细的分析和理解： 1、为避免特殊原因导致锁无法释放, 在加锁成功后, 锁会被
yii2-queue：Yii2队列扩展。 支持DB，Redis，RabbitMQ，Beanstalk和Gearman
02-04
Yii2队列扩展 通过队列异步运行任务的扩展。 它支持基于DB ， Redis ， RabbitMQ ， AMQP ， Beanstalk ， ActiveMQ和Gearman的队列。 文档位于 。 安装 安装此扩展的首选方法是通过 ： php composer.phar require --prefer-dist yiisoft/yii2-queue 基本用法 发送到队列的每个任务应定义为一个单独的类。 例如，如果您需要下载并保存文件，则该类可能如下所示： class DownloadJob extends BaseObject implements \yii\queue\ JobI
EasyExcel 百万级别数据高效率导入/导出
vnjohn 博主 > 主线分享后端领域业务设计知识、源码思想、架构设计
07-25 1万+
在日常的开发中，用的比较多的方式就是 Apache 下的 POI 框架了，但在目前数据量大的时代下，这种方式显得已经不适合了编写该篇文章主要是公司中实际上用到了这种场景，将它作为文章分享出来，如果这种方式的导入/导出能帮助到大家也挺开心的，或者大家也可以发表自己在这方面的看法，提出来，做为更好的一种方式去呈现节点分以下几步走，先是介绍原始 Apache POI 以及由阿里巴巴开源的一框 POI 框架做对比，再是提出解决这方面问题上的思路，然后进行案例演示，最后记录一下在使用中遇到的错误点.
Spring Boot通过EasyExcel异步多线程实现大数据量Excel导入,百万数据30秒
竹林幽深
04-07 8461
定义的线程池相当于是8个核心线程，任务队列是无界队列。线程数也是要在最后测试的时候取一个合适的值。/***/@Bean// 设置核心线程数// 设置最大线程数，当核心线程数满了且队列满了，会创建新的线程，直到达到最大线程数。而当前队列是无界队列，所以不会满，此处设置无效。直接使用默认值，无限大// 设置队列容量,默认为Integer.MAX_VALUE// 设置线程活跃时间（秒）// 设置默认线程名称// 设置拒绝策略。无界队列不会出现满的情况，所以不配置存储策略。
java 通过多线程异步方式来批量插入数据
zuihongyan518的博客
03-04 1万+
在处理大量数据时，想要快速的处理完毕，就需要使用多线程 + 批量（插入等）处理！！！ 采用简单粗暴的形式来告诉你们如何使用多线程+批量插入 来处理千万级的数据》》》 批量插入的方法： 接下来就是获取要处理的数据的方法： 此处生略了获取最大id getMaxId() 和 关闭 closeQuietly（）方法！！ ...
JdbcTemplate大数据批量插入 多线程异步操作
m0_51527921的博客
05-12 2432
配置线程池任务执行器 @Configuration public class ThreadConfig { @Bean public ThreadPoolTaskExecutor executor(){ ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor(); //配置核心线程数 executor.setCorePoolSize(15); //配置最大线程数
Yii2队列扩展。 支持DB，Redis，RabbitMQ，Beanstalk和Gearman-PHP开发
05-27
Yii2 Queue Extension是用于通过队列异步运行任务的扩展。 它支持基于DB，Redis，RabbitMQ，Beanstalk和Gearman的队列。 文档位于docs / guide / README.md。 安装p Yii2 Queue Extension是用于通过队列异步运行任务...
SpringBoot中使用Easyexcel实现Excel导入导出功能（一）
热门推荐
凡夫编程
12-08 2万+
excel表格的导入与导出，可以说是业务系统里比较常见的功能了，早些时候相信很多人都是使用POI实现excel的导入与导出功能，后来出现了easyexcel，从我自己的使用感受来说，我更喜欢使用easyexcel，除了封装的比较好外，最重要的是对超级大excel导入有了更好的方案，与POI相比，速度更快，占用内存更少。
消息队列实现数据同步
whuarui2010的专栏
01-05 1万+
应用场景&优势： 异步传输、效率高Redis解决高并发问题不受限于网络连接（网络中断）进程死锁（服务器放弃队列中的过期死操作）数据同步 与SyncFramework比较： SyncFramework 是微软框架，支持离线文件式数据库SqlCE与SqlServer/Oracle的数据同步，要求表结构完全一致，是数据级别同步，与业务无关。只能单线程同步，同步分组只有在数据
使用easysexcel数据导入
m0_53630707的博客
01-16 332
用到element-ui组件。
Springboot实现Excel的导入导出
Dreamer.
04-03 1万+
https://blog.csdn.net/typ1805/article/details/83279532
关于 RabbitMQ，应该没有比这更详细的教程了
江南一点雨的专栏
01-10 3526
文章目录1. 常见消息中间件大 PK1.1 几种协议1.1.1 JMS1.1.1.1 JMS 介绍1.1.1.2 JMS 模型1.1.1.3 JMS 实现1.1.2 AMQP1.1.2.1 AMQP 简介1.1.2.2 AMQP 实现1.1.3 MQTT1.1.4 XMPP1.1.5 JMS Vs AMQP1.2. 重要产品1.2.1 ActiveMQ1.2.2 RabbitMQ1.2.3 RocketMQ1.2.4 Kafka1.2.5 ZeroMQ1.2.6 其他1.3. 比较2. RabbitMQ 管
Springboot多线程异步批量添加/导入大数据到数据库
Just1like_this的博客
02-26 6063
启动类添加 @EnableAsync 注解 开启线程池（多线程） 新增异步添加接口 package com.chalk.service; import com.chalk.model.Student; import com.chalk.model.Teacher; import com.chalk.model.UserDeviceRel; import java.util.List; /** * 异步服务接口 * * @author gluoh * @since 2020-12-..
SpringBoot简单实现
qq_16183731的博客
11-19 419
定义： Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。 使用IDEA 使用quarkStart 新建Mav...
springboot+redis消息队列
08-19
Spring Boot与Redis消息队列的结合可以通过使用Redis的发布/订阅机制来实现。 首先，你需要确保已经在Spring Boot项目中添加了Redis的依赖。可以在pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> ``` 接下来，你可以创建一个消息发布者和一个消息订阅者。 对于消息发布者，可以使用Spring Boot提供的`StringRedisTemplate`或`RedisTemplate`来发送消息。示例代码如下： ```java @Autowired private StringRedisTemplate stringRedisTemplate; public void publishMessage(String message) { stringRedisTemplate.convertAndSend("channel", message); } ``` 在上述示例中，我们使用`stringRedisTemplate.convertAndSend()`方法来发布消息。第一个参数是频道名称，第二个参数是要发送的消息。 于消息订阅者，可以通过实现`MessageListener`接口，并使用`@Service`注解将其声明为Spring Bean。示例代码如下： ```java @Service public class MessageSubscriber implements MessageListener { @Override public void onMessage(Message message, byte[] pattern) { String channel = new String(message.getChannel()); String body = new String(message.getBody()); System.out.println("Received message: " + body + " from channel: " + channel); // 处理接收到的

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值