如何对项目中大量批量操作进行优化提升项目性能(mybitis中sql优化)。

后台web程序及接口性能相关因素。

多年开发总结的影响性能因数。

1,对象的创建。

2,线程的创建。

3,链接的创建(数据库链接等)。

4.,SQL语句执行时间。

本篇博文主要针对3,4两点影响性能的因数进行优化。前两点将在以后的博文中进行讲解。(前两点偏向于业务优化相关)

情况说明

1,项目中有大量的导出,导入功能。在导入数据量超过一定量(10w)时候系统运行十分缓慢。导致系统运行很卡。检查后台发现

后台导入功能是一个传入list不断循环list然后一条一条插入。(刚开始已将循环体内的创建对象,线程等代码移到循环体外,未有明显效果)

由上情况可以确定,该导入功能是由于不断创建数据库链接导致性能缓慢(因为每插入一条数据即要创建一次数据库链接)。

解决方案

对导入功能进行优化,执行批量sql语句减少数据库链接数量提升性能。

mybitis批量sql实现

批量插入sql语句实现方法。

情况说明

2,当程序运行一段时间数据库数据量大大增加,几张主要的表都已达到百万级别。查询显示功能变的很慢。每次查询显示都需要1-10秒的显示时间,检查后台发现,后台查询存在大量的表链接操作,且表结构没有建索性,查询语句存在大量的冗余sql执行时间占程序运行时间的很大一部分。

由上情况可以确定程序运行缓慢,程序性能不好,是由于sql语句执行效率低下导致的。

解决方案

explain执行计划详解https://blog.csdn.net/wuseyukui/article/details/71512793

查看sql语句的执行计划,优化sql,提升sql执行效率,当优化语句后程序执行效率大大提升。

本篇博文主要理解当程序数据量变的巨大时候程序性能优化方案(以上2个实例主要讲解性能优化)

                                                                                                                        此致敬礼 :感谢各位网友的阅读2019-4-16

                                                                                                              

 

 

### 回答1: Mybatis-Plus提供了多种方式进行批量插入优化,以下是几种常用的方法: 1. 使用Mybatis-Plus提供的BatchInsert方法进行批量插入,可以大大减少SQL语句的执行次数,提高插入效率。 2. 使用Mybatis-Plus提供的BatchInsertMappedStatement方法进行批量插入,可以将多个插入操作合并为一个SQL语句,减少数据库的IO操作,提高插入效率。 3. 使用Mybatis-Plus提供的BatchInsertSelective方法进行批量插入,可以只插入非空字段,减少插入的数据量,提高插入效率。 4. 使用Mybatis-Plus提供的BatchInsertOrUpdate方法进行批量插入或更新,可以根据主键进行判断,如果存在则更新,不存在则插入,提高插入效率。 总之,Mybatis-Plus提供了多种方式进行批量插入优化,可以根据具体的业务需求选择合适的方法进行优化,提高插入效率。 ### 回答2: Mybatis-Plus是一款优秀的ORM框架,通过简化SQL,并提供了便捷的CRUD操作,为Java开发者提供了方便快捷的开发体验。在数据量较大的情况下,批量插入优化是一个非常关键的技术点。下面我们来谈谈Mybatis-Plus如何进行批量插入的优化。 1、使用自增主键 - 我们可以将主键设置为自增类型,这样就可以通过Mybatis-Plus自动生成主键,避免在批量插入时多次查询主键。 2、使用BatchExecutor - Mybatis-Plus提供了BatchExecutor来执行批量插入操作,这样可以避免在单条插入过程频繁的开启和关闭数据库连接,从而提高了效率。 3、使用JDBC Batch - 在使用BatchExecutor的时候,我们可以选择使用JDBC Batch机制,这样可以将多个SQL语句存放到一个批处理,然后一次性执行。通过这种方式可以大大减少与数据库交互的次数。 4、使用Mybatis-Plus自带的批量插入方法 - Mybatis-Plus提供了一个批量插入方法,可以在一次SQL语句同时插入多条数据。使用该方法会显著提高数据插入效率。 5、适当分批 - 如果我们需要插入的数据量巨大,即使使用了批量插入的方式,也会出现内存溢出等问题。这时候我们可以将数据集合分成若干个小批次,每次只处理部分数据,最后再合并成一条记录。这样既可以保证数据的完整性,还可以避免出现问题。 以上就是Mybatis-Plus批量插入优化的常见策略,通过优化可以大幅提升插入效率,并节省数据库资源。 ### 回答3: mybatis-plus是基于mybatis二次开发的一个ORM框架,提供了很多实用的增删改查方法,方便了开发人员的工作。其一个常见的需求就是批量插入数据,因为单条插入数据效率低下,会导致数据库连接大量占用,影响系统性能。因此,如何优化mybatis-plus的批量插入就成为了开发人员需要关注的一个问题。 mybatis-plus提供了两种方式进行批量操作:insertBatch和insertBatchSomeColumn。insertBatch是完全插入,即将所有的属性都插入到数据库,而insertBatchSomeColumn则可以选择要插入的属性,只将选择的属性插入到数据库。下面我们具体介绍一下如何优化这两种批量插入方式。 对于insertBatch,我们可以通过三种方式进行优化: 1.使用JDBC批处理:在使用insertBatch方法时,mybatis-plus会为每一条数据都生成一条插入语句,这显然会消耗大量数据库连接资源。因此我们可以通过JDBC批处理,批量生成插入语句,减少数据库连接的占用。 2.使用mybatis-plus的插件:mybatis-plus提供了一个BatchInsertPlugin插件,可以将多条插入语句合并为一条,从而减少数据库连接的占用。 3.调整批处理大小:mybatis-plus默认的批处理大小是1000,我们可以根据实际情况调整该值,从而达到更好的性能优化效果。 对于insertBatchSomeColumn,我们可以通过两种方式进行优化: 1.使用mybatis-plus的插件:mybatis-plus提供了一个BatchInsertColumnSomePlugin插件,可以将多条插入语句合并为一条,从而减少数据库连接的占用。 2.调整批处理大小:和insertBatch相同,我们也可以根据实际情况调整批处理大小,从而达到更好的性能优化效果。 综合来说,通过JDBC批处理、mybatis-plus插件和调整批处理大小等方式,可以有效地优化mybatis-plus的批量插入性能,提高系统的整体性能和稳定性。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值