SpringBoot+Mybatis+定时任务实现大数据量数据分表记录和查询

最新推荐文章于 2024-07-04 12:26:49 发布

霸道流氓气质

最新推荐文章于 2024-07-04 12:26:49 发布

阅读量3.1k

点赞数 1

分类专栏：架构之路文章标签： mybatis spring boot java

本文链接：https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/126225846

版权

架构之路专栏收录该内容

266 篇文章 28 订阅 ¥19.90 ¥99.00

订阅专栏

场景

业务场景：

需要记录大量定位数据，形成轨迹回放功能。

此时不能将所有的点位数据存储进一个表中，需要进行分表操作，涉及如下几个步骤

1、一个建立一个新表，表名以日期结尾。

2、每天的点位数据存储进对应日期的表中。

3、按照时间区间参数查询点位表时，关联多个表的查询结果并返回。

若依前后端分离版本地搭建开发环境并运行项目的教程：

若依前后端分离版手把手教你本地搭建环境并运行项目_霸道流氓气质的博客-CSDN博客_前后端分离项目本地运行

在上面的框架的使用基础上，在定时任务中执行固定的代码，在代码中获取某个表的建表语句，然后以时间

为后缀新建新的一个表。

比如新建表:

CREATE TABLE `bus_badao_record` (
  `id` int NOT NULL AUTO_INCREMENT,
  `x` varchar(255) DEFAULT NULL,
  `y` varchar(255) DEFAULT NULL,
  `record_time

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

霸道流氓气质

关注关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

minions:使用爬虫爬取数据，使用springboot接受数据进行数据处理的大数据学习项目

04-11

minions 打包首先进入项目路径下，执行以下命令 #windows系统 .\gradlew build -x test #linux系统 ./gradlew build -x test 开发环境开发环境会启动postgres，mongo，redis，zookeeper，kafka #windows docker-compose -f .\project_files\docker-compose-dev.yaml up -d docker-compose -f .\project_files\docker-compose-dev.yaml ps docker-compose -f .\project_files\docker-compose-dev.yaml stop docker-compose -f .\project_files\docker-compose-dev.yaml

Spring Boot 处理百万级别数据量解决方案

八戒的博客

06-11

898

1. 分页与流式处理：通过分页查询避免一次性加载大量数据至内存，采用流式API逐条处理数据，比如JPA分页查询或JDBC ResultSet流式处理。2. 响应式编程与流式下载：在处理大数据导出时，使用`StreamingResponseBody`实现服务端流式响应，实时生成和发送数据给客户端，降低内存占用。

参与评论您还未登录，请先登录后发表或查看评论

项目实战--Spring Boot 3整合Flink实现大数据文件处理

最新发布

qq_40623672的博客

07-04

1814

性能优化策略利用Spring Boot 3.+和Flink构建一个高效的大数据文件处理应用

SpringBoot-EasyExcel(大数据处理)

weixin_45203607的博客

05-24

4941

EasyExcel EasyExcel文档我用过Poi和EasyPoi这些工具总体来说: POI 优点我觉得自由,但是迎来的就是复杂度,和性能的缺点 EasyPoi基于POI 的二次封装,解决了大部分的常用场景,简化了代码,但是特别复杂表格处理还是不行,而且性能的话和poi差不多,简单来说就是简化了Poi的操作,少些点代码下面来说说今天的主角EasyExcel,这个项目是阿里巴巴开发的开源项目,专门针对大数据批量处理,比如100万+的Excel数据这种,会比以上几款要快很多并且性能上也不会太占用系统

SpringBoot的自动配置原理，java大数据处理技术

m0_64205605的博客

11-21

368

简单来说，这个注解可以帮助我们自动载入应用程序所需要的所有默认配置。如果你的类路径下有tomcat-embedded.jar包，那么你很可能就需要TomcatServletWebServerFactory 我们点进去看一下，发现有两个比较重要的注解： @AutoConfigurationPackage：自动配置包 @Import：给IOC容器导入组件 1.2.1 @AutoConfigurationPackage 网上将这个**@AutoConfigurationPackage注解解释成自动

Springboot定时执行查询数据库

xw_2_xh的博客

08-12

6322

前言今天遇到一个问题，需要不断去访问数据库，从数据库中查询出更新的数据然后做相应的处理。用到的知识是定时任务 1、在需要执行定时任务的方法上添加@Scheduled注解，如下：(关于cron的值在后面进行解释) @Scheduled(cron = "*/15 * * * * *") public void getNameLimit2() { List<String> ...

springboot实现定时任务定时查找数据库

浩浩的博客

08-03

944

定时任务

使用mybatisplus插件实现按时间分表及默认查询

癸酉金鸡的博客

05-23

1793

mybatisplus 按日期分表

使用SpringBoot进行数据流管理与处理

程序员光剑

01-28

600

1.背景介绍 1. 背景介绍数据流管理与处理是现代计算机科学中的一个重要领域，它涉及到数据的收集、存储、处理和传输等方面。随着数据量的不断增加，数据流管理与处理变得越来越重要。Spring Boot是一种用于构建新Spring应用的快速开发框架，它使得开发人员可以更轻松地构建高质量的应用程序。在本文中，我们将讨论如何使用Spring Boot进行数据流管理与处理。 2. 核心概念与联系 ...

Springboot中使用数据库配置定时任务

01-03

Springboot中使用数据库配置定时任务，并在Job中自动装配Spring容器Bean。

SpringBoot基于数据库的定时任务统一管理的实现

08-25

主要介绍了SpringBoot基于数据库的定时任务统一管理的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

大数据入门以及SpringBoot2.0技术详解

02-15

用于想入门大数据，以及想深入学习SpringBoot2.0技术的同学

基于SpringBoot+MyBatis+Redis的秒杀系统.zip

02-22

数据库设计时需考虑扩展性和性能，例如采用分库分表策略来应对大规模数据和高并发读写。 6. **分布式Session管理**：在分布式系统中，需要解决Session共享问题。可以使用Redis存储Session，确保用户状态在不同服务...

springboot集成sharding-jdbc mybatis-plus连接oracle实现单库按月份分表及注意事项

he3more的博客

11-01

1931

文章目录sharding-jdbc简介引入依赖前置准备sharding-jdbc配置分表验证整合mybatis-plus不支持的操作 sharding-jdbc简介 sharding-jdbc是一个轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC T

sharding jdbc3.x+mybatis plus实现根据年月分库分表功能

qq_42154996的博客

05-12

1006

需求场景：日志量过大，需要进行按年月份分表存储，用定时任务每月动态创建下个月的表，目前只是分表，单库性能不足时可以考虑分库，读写分离。 1.导入依赖  <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <scope>runtime</scope> &

springboot整合sharding-jdbc实现按年分库按月分表

热门推荐

weixin_47077809的博客

02-05

1万+

springboot整合sharding-jdbc实现按年分库按月分表 1.前言：此方案为适用对时间依赖度较高的数据进行水平切分，如果你正好符合，那么你可以看看此篇，不符合也可以看看，毕竟sharding-jdbc对分库分表的方案实现度很高，可根据自身实际情况进行数据切分 2.分库分表概念在做实现之前，我们需要了解到何为分库分表，为何要这样做，这样做有何利弊？由于关系型数据库的先天特性，在单表数据量达到一定体量的时候，就会出现性能瓶颈，至于具体是多少，此篇不做研究，说法众多，后期有时

mybatis 按照时间分表进行查询

AmbroseLe

09-17

4364

日志表数据量巨大。需要进行分表存储，分表之后就需要查询使用union方式查询数据库中大约是这种情况 (select * FROM tb_log_20190917) UNION (SELECT * FROM tb_log_20190916) UNION (SELECT * FROM tb_log_20190915) ORDER BY create_time DESC LIMIT 10 ...

写一段使用SpringBoot ＋ Mybatis实现user表分表插入用户数据代码

05-25

首先，需要在Mybatis中配置分表策略和数据源路由。这里使用ShardingSphere进行分表和数据源路由的配置。 1. 添加ShardingSphere的相关依赖 ```xml <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-core</artifactId> <version>${shardingsphere.version}</version> </dependency> ``` 2. 配置ShardingSphere的数据源和分表策略 ```yaml spring: shardingsphere: datasource: names: ds0, ds1 ds0: driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3306/user0?useSSL=false&serverTimezone=UTC&useUnicode=true&characterEncoding=utf8 username: root password: root ds1: driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3306/user1?useSSL=false&serverTimezone=UTC&useUnicode=true&characterEncoding=utf8 username: root password: root sharding: tables: user: actualDataNodes: ds${0..1}.user_${0..1} tableStrategy: standard: shardingColumn: id shardingAlgorithmName: userTableShardingAlgorithm keyGenerateStrategy: column: id keyGeneratorName: snowflake defaultDatabaseStrategy: inline: shardingColumn: id algorithmExpression: ds${id % 2} shardingAlgorithms: userTableShardingAlgorithm: type: INLINE props: algorithm-expression: user_${id % 2} keyGenerators: snowflake: type: SNOWFLAKE props: worker-id: 123 ``` 3. 创建User实体类和Mapper接口 ```java @Data public class User { private Long id; private String name; private Integer age; } @Mapper public interface UserMapper { @Insert("INSERT INTO user_${id % 2}(name, age) VALUES(#{name}, #{age})") int insert(User user); } ``` 4. 创建Service层，调用Mapper插入数据 ```java @Service public class UserService { @Autowired private UserMapper userMapper; public void save(User user) { userMapper.insert(user); } } ``` 以上就是使用SpringBoot和Mybatis实现user表分表插入用户数据的代码。