记第二次性能优化（Mybatis+Mysql）

最新推荐文章于 2024-09-09 08:33:26 发布
最新推荐文章于 2024-09-09 08:33:26 发布
阅读量250 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CW_SZDX/article/details/105509191
版权

这次是需要用到批量insert和批量update。原理是Mysql本身支持批量xx的。
1.
MyBatis批量插入几千条数据慎用foreach
2.
Mybatis中进行批量更新
mybatis批量更新及其效率问题

优化：
问题仍然是xml里#{}搞循环（foreach）[预处理耗时]引起的性能问题，上次通过转为在java里循环，xml换成${} 。
这次优化：
MyBatis批量插入几千条数据慎用foreach

2020年4月14日18:06:54欲优化，经测试，发现Mybatis+Mysql的“一条sql批量insert（foreach）”性能还行啊，不用优化了：

准备工作：制作“set字段”代码：

//先获取项目中insert之前做了哪些字段：重写对象的toString，在insert之前打印一下
//拿到一个对象的信息，然后写了个main，把这些字段做成“set字段”代码
public class Demo {
    public static void main(String[] args) {
        String s=" month = \"202001\",\n" +
                "                salaryType = \"SlaryType01\", \n" +
                "                hrId = \"C2011\", \n" +
                "                specialItemTotal = null, \n" +
                "                socialFundTotal = null, \n" +
                "                personalSocialSecurity = null, \n" +
                "                personalAccumulationFund = 0.0, \n" +
                "                companySocialSecurity = null, \n" +
                "                companyAccumulationFund = null, \n" +
                "                deductedTotal = null, \n" +
                "                overtimeTotal = null, \n" +
                "                salaryFileTotal = null, \n" +
                "                comprehensiveSalary = null, \n" +
                "                grossPay = null, \n" +
                "                taxableIncome = null, \n" +
                "                personalIncomeTax = null, \n" +
                "                lastMonthTax = null, \n" +
                "                taxDifference = null, \n" +
                "                accumulativeTax = null, \n" +
                "                lastMonthDeserved = null, \n" +
                "                leaveDays = null, \n" +
                "                sickLeaveDays = null, \n" +
                "                sickLeaveSubsidy = null, \n" +
                "                nightShiftDays = null, \n" +
                "                dutyAttendanceDays = null,\n" +
                "                realAttendanceDays = null,\n" +
                "                realWages = null, \n" +
                "                checkStatus = null,\n" +
                "                accountingStatus = null, \n" +
                "                accountingId = \"null\", \n" +
                "                accountingTime = null, \n" +
                "                updatorId = \"C344\", \n" +
                "                updataTime = Tue Apr 14 16:28:17 CST 2020, \n" +
                "            checkTime = null,\n" +
                "            cumulativeMonths = null, \n" +
                "            cumulativeRealWages = null,\n" +
                "            isDel = null, \n" +
                "            accumulativeSpecialItemTotal = null, \n" +
                "            accumulativeSocialFundTotal = null, \n" +
                "            accumulativeOvertimeTotal = null,\n" +
                "            accumulativeGrossPay = null, \n" +
                "            threshold = null, \n" +
                "            accumulativeThreshold = null,\n" +
                "            preTaxSalary = null, \n" +
                "            busPayEntity = null, \n" +
                "            socialFundEntity = null, \n" +
                "            specialItemEntity = null, \n" +
                "            salaryChangeEntity = null, \n" +
                "            salaryTypeName = \"null\", \n" +
                "            grossPayP = \"null\", \n" +
                "            cName = \"蔡徐鲲\", \n" +
                "            cDeptId = 66, \n" +
                "            cDeptName = \"管理部\",\n" +
                "            attendanceDayNum = null, \n" +
                "            merits = \"300.0\", \n" +
                "            mealAllowance = 0.0,\n" +
                "            travelSubsidy = 0.0,\n" +
                "            otherPay = 0.0, \n" +
                "            rewardAndPunishNum = null, \n" +
                "            sickManHour = null,\n" +
                "            staySubsidy = null, \n" +
                "            nightSubsidy = null,\n" +
                "            childEducation = 0.0,\n" +
                "            houseLoan = 0.0, \n" +
                "            houseRent = 0.0, \n" +
                "            olderSupport = 0.0, \n" +
                "            continueEducation = 0.0, \n" +
                "            illnessSubsidy = 0.0, \n" +
                "            cumulativeRealPay = null,\n" +
                "            cumulativeMonthNum = null,\n" +
                "            creditCardNum = \"1234554321\", \n" +
                "            credType = \"null\", \n" +
                "            credNum = \"null\",\n" +
                "            pension = 235.2, \n" +
                "            medicalCare = 58.8, \n" +
                "            unemployment = 14.7, \n" +
                "            personFund = 0.0,\n" +
                "            enterpriseAnnuity = null,\n" +
                "            commercialHealthInsurance = null, \n" +
                "            taxDeferredPension = null, \n" +
                "            other = null, \n" +
                "            allowSubDonateNum = null,\n" +
                "            taxDeduction = null, \n" +
                "            remark = \"null\",\n" +
                "            payUse = \"null\", \n" +
                "            certType = \"居民身份证\", \n" +
                "            certNum = \"3205831970\" ";

//        System.out.println(s);

        String[] split1 = s.split(",");
        for (int i = 0; i < split1.length; i++) {
           String[] split2 = split1[i].split("=");

           String x=split2[0].trim().substring(0,1).toUpperCase()+split2[0].trim().substring(1);
//            System.out.println("x--"+x);
           String front="es.set"+x+"(";
           String mid=split2[1];
           String back=");";
           System.out.println(front+mid+back);
        }
    }
}

 //批量查询   测试批量插入性能
    @Test
    public void test() {

        List<EhrSalaryCheckingEntity> esList = null;
        esList = new ArrayList<>();

        List<EhrSalaryCheckingEntity> initFullCheckingList=new  ArrayList<EhrSalaryCheckingEntity>();


       for(int i=0;i<50000;i++) {
           EhrSalaryCheckingEntity es = new EhrSalaryCheckingEntity();
           es.setMonth("202001");
           es.setSalaryType("SlaryType01");
           es.setHrId("C2011"+i);
           es.setSpecialItemTotal(null);
           es.setSocialFundTotal(null);
           es.setPersonalSocialSecurity(null);
           es.setPersonalAccumulationFund(new BigDecimal(0.0));
           es.setCompanySocialSecurity(null);
           es.setCompanyAccumulationFund(null);
           es.setDeductedTotal(null);
           es.setOvertimeTotal(null);
           es.setSalaryFileTotal(null);
           es.setComprehensiveSalary(null);
           es.setGrossPay(null);
           es.setTaxableIncome(null);
           es.setPersonalIncomeTax(null);
           es.setLastMonthTax(null);
           es.setTaxDifference(null);
           es.setAccumulativeTax(null);
           es.setLastMonthDeserved(null);
           es.setLeaveDays(null);
           es.setSickLeaveDays(null);
           es.setSickLeaveSubsidy(null);
           es.setNightShiftDays(null);
           es.setDutyAttendanceDays(null);
           es.setRealAttendanceDays(null);
           es.setRealWages(null);
           es.setCheckStatus(null);
           es.setAccountingStatus(null);
           es.setAccountingId("null");
           es.setAccountingTime(null);
           es.setUpdatorId("CWA344");
           es.setUpdataTime(new Date());
           es.setCheckTime(null);
           es.setCumulativeMonths(null);
           es.setCumulativeRealWages(null);
           es.setIsDel(null);
           es.setAccumulativeSpecialItemTotal(null);
           es.setAccumulativeSocialFundTotal(null);
           es.setAccumulativeOvertimeTotal(null);
           es.setAccumulativeGrossPay(null);
           es.setThreshold(null);
           es.setAccumulativeThreshold(null);
           es.setPreTaxSalary(null);
           es.setBusPayEntity(null);
           es.setSocialFundEntity(null);
           es.setSpecialItemEntity(null);
           es.setSalaryChangeEntity(null);
           es.setSalaryTypeName("null");
           es.setGrossPayP("null");
           es.setcName("蔡徐鲲");
           es.setcDeptId(66);
           es.setcDeptName("管理部");
           es.setAttendanceDayNum(null);
           es.setMerits("300.0");
           es.setMealAllowance(new BigDecimal(0.0));
           es.setTravelSubsidy(new BigDecimal(0.0));
           es.setOtherPay(new BigDecimal(0.0));
           es.setRewardAndPunishNum(null);
           es.setSickManHour(null);
           es.setStaySubsidy(null);
           es.setNightSubsidy(null);
           es.setChildEducation(new BigDecimal(0.0));
           es.setHouseLoan(new BigDecimal(0.0));
           es.setHouseRent(new BigDecimal(0.0));
           es.setOlderSupport(new BigDecimal(0.0));
           es.setContinueEducation(new BigDecimal(0.0));
           es.setIllnessSubsidy(new BigDecimal(0.0));
           es.setCumulativeRealPay(null);
           es.setCumulativeMonthNum(null);
           es.setCreditCardNum("1234554321"+i);
           es.setCredType("null");
           es.setCredNum("null");
           es.setPension(new BigDecimal(235.2));
           es.setMedicalCare(new BigDecimal(58.8));
           es.setUnemployment(new BigDecimal(14.7));
           es.setPersonFund(new BigDecimal(0.0));
           es.setEnterpriseAnnuity(null);
           es.setCommercialHealthInsurance(null);
           es.setTaxDeferredPension(null);
           es.setOther(null);
           es.setAllowSubDonateNum(null);
           es.setTaxDeduction(null);
           es.setRemark("null");
           es.setPayUse("null");
           es.setCertType("居民身份证");
           es.setCertNum("32058319906"+i);
           initFullCheckingList.add(es);
       }


        //计算 批量插入 耗时
        System.out.println("开始计算---");
        int total = 0;
        long start = System.currentTimeMillis();

        Integer insert = ehrSalaryCheckingDao.setEntity(initFullCheckingList);

        System.out.println("计算完毕---");
        long end = System.currentTimeMillis();
        System.out.println("用时:---" + (end - start) + "ms.");

        EhrSalaryCheckingEntity esNB = new EhrSalaryCheckingEntity();
        esNB.setMonth((end - start)+"");
        esNB.setHrId("耗时");
        ehrSalaryCheckingDao.insert(esNB);
        System.out.println("-----游戏结束------");
    }


    /**
     * 汇总：
     * setEntity方法：
     * 5条--178ms
     * 1000条--3457ms
     * 3000条--6755ms
     * 6000条--10780ms
     * 10000条--9,297ms
     * 50000条--119,369ms
     * 经测试，88列，3000行，使用“一条sql批量insert（foreach）”，耗时6s，还可以，没有优化的意义。博文那人花了14分钟。他有毒^_^。
     */
Stack Piston
关注
Mybatis优化：抽取数据源信息、添加日志信息和实体类属性与表中字段不一致
m0_53312145的博客
03-21 236
Mybatis优化Mybatis框架的搭建Mybatis 框架的优化1、 将数据源信息抽取到properties文件中 Mybatis框架的搭建 *本文主要讲述 Mybatis框架的一些优化操作，若不知道基本搭建过程，点击 Mybatis框架的搭建了解 Mybatis 框架的搭建： 引入依赖 jar包 创建对应实体类 配置 mybatis 的配置文件 创建 mybatis 的映射文件 把映射文件放入到配置文件中 Mybatis 开发环境使用映射文件结合DAO接口： 映射文件的 namespace 和对
MyBatis (3)——优化MyBatis配置文件中的配置
爱笑的博客
04-08 371
原：http://www.cnblogs.com/xdp-gacl/p/4264301.html 一、连接数据库的配置单独放在一个properties文件中 　　之前，我们是直接将数据库的连接配置信息写在了MyBatis的conf.xml文件中，如下
mysql性能优化- 存储引擎选择
最新发布
Flying_Fish_roe的博客
09-09 1492
MySQL 性能优化不仅仅依赖于数据库的内部调整，外部工具和插件的使用也能带来显著的效果。通过监控工具及时发现问题、利用缓存和代理减轻数据库压力、借助查询分析工具优化 SQL 语句，能够帮助用户在高并发、高数据量的场景下，维持 MySQL 的高效运行。MySQL 自带的 Performance Schema 是一个轻量级的监控和分析工具，能够提供数据库运行时的详细信息。ProxySQL 是一个高性能的 MySQL 代理服务器，它可以帮助 MySQL 实现读写分离、查询缓存等功能，提高数据库的整体性能。
mybatis-mysql小优化
dgqvhtlwq472235338的博客
11-25 63
原文：http://blog.csdn.net/jinzhencs/article/details/51656548 1.查询某条记录是否存在 <!-- 查询s是否被创建过:Uuid,name,deleteFlag --> <select id="isCreated" parameterType="XXEntity" resultType="In...
mybatis的性能优化
Syntactic_tang的博客
11-06 2852
回顾: 1. mybatis实现增删改查. 1. 查询. -> parameterType #{} 或者 ${} 引入抽象方法中传入的参数值. #{}防止sql注入. ${}字符串的拼接. -> 模糊查询. where name like "%"#{key}"%" where name like concat('%',#{key...
MyBatis性能优化
专业的计算机毕业设计指南
01-29 2085
1.延迟加载 1.1 什么是延迟加载(按需加载) resultMap中的association（has a）和collection（has some）标签具有延迟加载的功能。 延迟加载的意思是说，在关联查询时，利用延迟加载，先加载主信息。需要关联信息时再去按需加载关联信息。这样会大大提高数据库性能，因为查询单表要比关联查询多张表速度要快。 设置延迟加载 Mybatis默认是没开启延迟加载功能的，我...
spring + mybatis + mysql项目调优
xingbake111的博客
04-18 250
个人项目调优记录mysqlmybatisjava代码对数据的处理缓存jsp代码tomcat，jvm调优总结 此贴记录一下个人在项目维护阶段进行的速度上的调优方案，案例项目是从别人那里接手的项目，是一个与mysql交互的spring web项目，在网站速度上的调优顺序如下： 1, sql审查与修改，提升大数据量时sql的查询速度，调整不合理的字段设计，增加索引，表内分区等。 2, 调整mybatis...
MySql+Mybatis+Druid 优化之MyBatis批量删除、更新
好记性不如烂笔头--玲博小记
12-11 8599
业务需求：一次更新/删除多条数据，通常有两种方式：      （1）在业务代码中循环遍历，逐条删除，业务清晰 （2）在sql语句中，循环删除，只操作一次数据库，这个分为两种方式： 方式A：通过循环一个id列表，循环删除数据； 方式B：条件为多个字段，为了更新多条记录为多个字段的不同值 补充：这里的删除采用软删除，使用一个字段进行标记，所以所有的删除实际就是更新
首发175道Redis+Mybatis+Zookeeper+MySQL面试专题（含答案）
+W❤：bjmsb2019
07-22 1256
Redis面试题 1、什么是Redis? Redis 是完全开源免费的，遵守 BSD 协议，是一个高性能的 key-value 数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： Redis 支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis 不仅仅支持简单的 key-value 类型的数据，同时还提供 list，set，zset，hash 等数据结构的存储。 Redis 支持数据的备份，即 master-slave 模
基于JSP+MyBatis+SpringMVC+Docker的作业管理系统
weixin_42716211的博客
06-17 1029
一、概念介绍 1.什么是JSP？ JSP全称Java Server Pages，是一种动态网页开发技术。它使用JSP标签在HTML网页中插入Java代码。标签通常以<%开头以%>结束。 JSP是一种Java servlet，主要用于实现Java web应用程序的用户界面部分。网页开发者们通过结合HTML代码、XHTML代码、XML元素以及嵌入JSP操作和命令来编写JSP。 JSP通过网页表单获取用户输入数据、访问数据库及其他数据源，然后动态地创建网页。 JSP标签有多种功能，比如访问数据库、记
MyBatis性能调优——优化SQL查询和分页查询速度
AI天才研究院
07-28 2672
MyBatis 是 MyBatis SQL Mapper Framework 的简称，是一个 Java 框架，用于存取数据库中的数据。MyBatis 将 sql 映射到 java 对象上，并将对象映射成 sql，最终实现对关系数据库进行持久化操作。MyBatis 使用 xml 或注解的方式来配置映射关系，并通过 xml 文件或注解来生成mybatis核心配置文件 mybatis-config.xml，然后再根据具体的业务需要编写 mapper 文件。
mybatis一对多性能优化demo
08-02
mybatis 一对多性能优化 demo mybatis 一对多性能优化 demo
MYSQL性能调优工具介绍
10-02
一 mysql awr报告（简单的AWR,mysqltuner.pl,tuning-primer.sh pt-query-digest,pt-variable-advisor） 二 性能分析工具介绍（mytop,innotop,orzdba,tcpdump,pt-query-digest,tbdba-slow-picker.pl,iotop,io-profile,nicstat,mpstat,iostat,vmstat,tcprstat,dstat,oprofile,vmtouch） 三 主从复制延时解决（relay-fetch 介绍）
使用MyBatis的数据库性能调优
AI天才研究院
01-18 519
1.背景介绍 MyBatis是一款优秀的Java数据库访问框架，它可以简化数据库操作，提高开发效率，同时也可以提高数据库性能。然而，在实际应用中，我们可能会遇到一些性能问题，这时候我们需要对MyBatis进行性能调优。 在本文中，我们将讨论MyBatis的性能调优技术，包括核心概念、核心算法原理、具体操作步骤、数学模型公式、代码实例、未来发展趋势与挑战以及常见问题与解答。 2.核心概念与联系...
Mybatis的几点小结
weixin_34314962的博客
09-09 402
2019独角兽企业重金招聘Python工程师标准>>> ...
Mybatis调优
cszhang
08-14 763
1、尽可能使用#{}，而不是${}. Mybatis中尽量不要使用${}，尽量这样做很方便开发，但是有一个问题，就是大量使用会导致oracle的硬解析，拖慢数据库性能，运行越久，数据库性能会越差。对于一般多个字符串IN的处理，可以参考如下的解决方案:http://www.myexception.cn/sql/849573.html，基本可以解决大部分${}. 2、不要过多依赖动态sq
Mybatis的优化
weixin_56321824的博客
03-22 1290
Mybatis的优化 mybatis作用：封装SQL查询的结果以及占位符的赋值，替换了JDBC ①提取properties配置文件 1.创建properties文件 添加自己所需要的配置信息 2.在mybatis配置文件中修改 将properties配置文件的信息引入到mybatis中，修改如下 ②log4j日志信息添加 可以打印我们所需要的各种信息：SQL，debug，info 1.在pom.xml中导入所需jar包 2.创建配置文件log4j.properties log4j.rootLogger
MyBatis的优化
weixin_44623190的博客
03-20 236
MyBatis的优化 一丶对于数据源的优化 1.可以将数据源中的信息提取到properties文件中 例如： 在mybatisConfig.xml中的数据源信息(提取前)： <environments default="development"> <environment id="development"> <transactionManager type="JDBC" /> <dataSource t
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值