SQL批量插入由拼接``修改为传参格式

已于 2023-05-24 13:54:32 修改
阅读量168 收藏
点赞数
分类专栏： Java偶遇问题 文章标签： java
于 2023-05-15 09:09:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/inexaustible/article/details/130620042
版权
文章描述了一个Java方法，用于批量插入对账单比对解析表数据。原始代码通过字符串拼接构建SQL语句，导致了错误。后来，代码被修改为使用参数化查询，避免了SQL注入问题并提高了效率。在新的实现中，利用JdbcTemplate的batchUpdate方法和参数数组进行批量操作，同时包含了对不同类型数据的处理逻辑和异常捕获。
摘要由CSDN通过智能技术生成

由于SQL插入语句是通过判断拼接，导致语句中包含''，原SQL语句如下：

    import org.springframework.jdbc.core.JdbcTemplate;

    @Autowired
    JdbcTemplate jdbcTemplate;

/**
         * 批量插入对账单比对解析表数据
     * @param reportId 报告ID
     * @param list 对账单比对解析表数据
     * @param objConnector 
     * @param type 
     * @return
     */
    public boolean batchInsertFileCompareParses(int reportId, List<DtFileCompareParse> list, String objConnector, String type) {
        // 判断是否为空
        if (list == null || list.size() == 0) {
            return true;
        }
        try {
            objConnector = objConnector + objConnector + objConnector;
            List<String> tempSqlList = new ArrayList<>();
            for (DtFileCompareParse dtFileCompareParse : list) {
                StringBuffer sql = new StringBuffer();
                sql.append("INSERT INTO dt_file_compare_parse_" + reportId +" (");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getUniqueKey()))
                    sql.append("unique_key,");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getOldFilename()))
                    sql.append("old_filename,");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getOldLineNumber()))
                    sql.append("old_line_number,");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getOldBillItem()))
                    sql.append("old_bill_item,");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getNewFilename()))
                    sql.append("new_filename,");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getNewLineNumber()))
                    sql.append("new_line_number,");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getNewBillItem()))
                    sql.append("new_bill_item,");
                if (dtFileCompareParse.getCompared() != null)
                    sql.append("compared,");
                sql.append(") VALUES ( ");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getUniqueKey()))
                    sql.append("'").append(dtFileCompareParse.getUniqueKey()).append("',");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getOldFilename()))
                    sql.append("'").append(dtFileCompareParse.getOldFilename()).append("',");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getOldLineNumber()))
                    sql.append("'").append(dtFileCompareParse.getOldLineNumber()).append("',");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getOldBillItem()))
                    sql.append("'").append(dtFileCompareParse.getOldBillItem()).append("',");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getNewFilename()))
                    sql.append("'").append(dtFileCompareParse.getNewFilename()).append("',");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getNewLineNumber()))
                    sql.append("'").append(dtFileCompareParse.getNewLineNumber()).append("',");
                if (DataUtils.isNotEmpty(dtFileCompareParse.getNewBillItem()))
                    sql.append("'").append(dtFileCompareParse.getNewBillItem()).append("',");
                if (dtFileCompareParse.getCompared() != null)
                    sql.append(dtFileCompareParse.getCompared()).append(",");
                sql.append(")");
                sql.append(" ON DUPLICATE KEY UPDATE ");
                sql.append("unique_key = '").append(dtFileCompareParse.getUniqueKey() + "',");
                if(type.equals(Constants.IS_OLD_FILE)) {
                    if (DataUtils.isNotEmpty(dtFileCompareParse.getOldFilename())) {
                        sql.append("old_filename = CONCAT(IFNULL(old_filename,''), '"+ objConnector + "','" + dtFileCompareParse.getOldFilename() +  "'),");
                    }
                        
                    if (DataUtils.isNotEmpty(dtFileCompareParse.getOldLineNumber())) {
                        sql.append("old_line_number = CONCAT(IFNULL(old_line_number,''), '"+ objConnector + "','" + dtFileCompareParse.getOldLineNumber() +  "'),");
                    }
                        
                    if (DataUtils.isNotEmpty(dtFileCompareParse.getOldBillItem())) {
                        sql.append("old_bill_item = CONCAT(IFNULL(old_bill_item,''), '"+ objConnector + "','" + dtFileCompareParse.getOldBillItem() +  "'),");
                    }
                }else {
                    if (DataUtils.isNotEmpty(dtFileCompareParse.getNewFilename())) {
                        sql.append("new_filename = CONCAT(IFNULL(new_filename,''), '"+ objConnector + "','" + dtFileCompareParse.getNewFilename() +  "'),");
                    }
                        
                    if (DataUtils.isNotEmpty(dtFileCompareParse.getNewLineNumber())) {
                        sql.append("new_line_number = CONCAT(IFNULL(new_line_number,''), '"+ objConnector + "','" + dtFileCompareParse.getNewLineNumber() +  "'),");
                    }
                        
                    if (DataUtils.isNotEmpty(dtFileCompareParse.getNewBillItem())) {
                        sql.append("new_bill_item = CONCAT(IFNULL(new_bill_item,''), '"+ objConnector + "','" + dtFileCompareParse.getNewBillItem() +  "'),");    
                    }
                }
                sql.append("compared = "+ dtFileCompareParse.getCompared());
                String str = sql.toString().replace(",)", ")");
                logger.info("批量插入对账单比对解析表数据，执行SQL语句：" + str);
                tempSqlList.add(str);
            }
            
            String[] tempSqlArray = tempSqlList.toArray(new String[tempSqlList.size()]);
            jdbcTemplate.batchUpdate(tempSqlArray);
        }catch (Exception e) {
            logger.error("批量插入对账单比对解析表数据发生异常", e);
            return false;
        }
        
        return true;
    }

使得执行时报错，如下图：

由于内容中含有·导致SQL拼接错误

SQL修改为传参方式实现批量插入，如下图：

    public boolean batchInsertFileCompareParses(int reportId, List<DtFileCompareParse> list, String objConnector, String type) {
        // 判断是否为空
        if (list == null || list.size() == 0) {
            return true;
        }
        
        objConnector = objConnector + objConnector + objConnector;
        StringBuffer sql = new StringBuffer();
        sql.append("INSERT INTO dt_file_compare_parse_" + reportId + " ( unique_key, old_filename, old_line_number, "
                + " old_bill_item, new_filename, new_line_number, new_bill_item,compared ) VALUES (?,?,?,?,?,?,?,?) "
                + "  ON DUPLICATE KEY UPDATE unique_key = ? ,");
        if(type.equals(Constants.IS_OLD_FILE)) {
            sql.append("old_filename = CONCAT(IFNULL(old_filename,''), ',',?),");
            sql.append("old_line_number = CONCAT(IFNULL(old_line_number,''), ',',?),");
            sql.append("old_bill_item = CONCAT(IFNULL(old_bill_item,''), '"+ objConnector + "',?),");
        }else {
            sql.append("new_filename = CONCAT(IFNULL(new_filename,''), ',',?),");
            sql.append("new_line_number = CONCAT(IFNULL(new_line_number,''), ',',?),");
            sql.append("new_bill_item = CONCAT(IFNULL(new_bill_item,''), '"+ objConnector + "',?),");
        }
        sql.append("compared = ?");
        try {
            List batchArgs = new ArrayList<>();
            List<String> tempSqlList = new ArrayList<>();
            for (DtFileCompareParse dtFileCompareParse : list) {
                if(type.equals(Constants.IS_OLD_FILE)) {
                    Object[] objects = {
                            dtFileCompareParse.getUniqueKey(),dtFileCompareParse.getOldFilename(),dtFileCompareParse.getOldLineNumber(),
                            dtFileCompareParse.getOldBillItem(),dtFileCompareParse.getNewFilename(),dtFileCompareParse.getNewLineNumber(),
                            dtFileCompareParse.getNewBillItem(),dtFileCompareParse.getCompared(),
                            dtFileCompareParse.getUniqueKey(),
                            dtFileCompareParse.getOldFilename(),dtFileCompareParse.getOldLineNumber(),dtFileCompareParse.getOldBillItem(),
                            dtFileCompareParse.getCompared()
                    };
                    batchArgs.add(objects);
                }else {
                    Object[] objects = {
                            dtFileCompareParse.getUniqueKey(),dtFileCompareParse.getOldFilename(),dtFileCompareParse.getOldLineNumber(),
                            dtFileCompareParse.getOldBillItem(),dtFileCompareParse.getNewFilename(),dtFileCompareParse.getNewLineNumber(),
                            dtFileCompareParse.getNewBillItem(),dtFileCompareParse.getCompared(),
                            dtFileCompareParse.getUniqueKey(),
                            dtFileCompareParse.getNewFilename(),dtFileCompareParse.getNewLineNumber(),dtFileCompareParse.getNewBillItem(),
                            dtFileCompareParse.getCompared()
                    };
                    batchArgs.add(objects);
                }
            }
            
            int[] updateCountArray = jdbcTemplate.batchUpdate(sql.toString(), batchArgs);
        }catch (Exception e) {
            logger.error("批量插入对账单比对解析表数据发生异常", e);
            return false;
        }
        
        return true;
    }

两种方式对比

inexaustible
关注
专栏目录
【项目实战】使用JdbcTemplate.batchUpdate执行批量更新操作（批处理）
本本本添哥
07-30 495
JdbcTemplate，提供了大量的方法来帮助开发者执行JDBC操作。其中，batchUpdate方法是JdbcTemplate中非常重要的一个方法。batchUpdate方法是Spring框架中非常实用的功能之一。batchUpdate方法是JdbcTemplate中用于执行批量更新操作的。batchUpdate方法可以显著提高处理大量数据时的效率。batchUpdate方法可以一次性执行多条SQL语句，以简化数据库操作。
Mybatis传入参数为List对象时(foreach的用法/批量插入)
卷NM呢！不干了！
04-27 9606
>Mybatis传入参数为List对象时(foreach的用法/批量插入) 场景复现 首先有如下一张表： MySQL [test]> select * from t_entry_resource; +----+-------------+------+----------+--------+--------+---------------------+ | id | resource_id | type | title | banner | icon | add_date
易语言动态拼接sql语句
08-14
易语言动态拼接sql语句源码 系统结构:易语言动态拼接sql语句源码,动态拼接sql语句 ======程序集1 | | | |------ _启动子程序 | | | | ======窗口程序集_窗口1 | | | |------ _窗口1_创建完毕 | | | |--
MySQL存储过程，拼接sql批量插入数据
qq_29550537的博客
09-28 2112
-- 一个简单的存储过程，通过拼接sql批量向数据库插入数据 -- 自定义声明结束符 DELIMITER $$ -- row_num要插入数据的行数，cuser当插入数据用户的id create procedure randUser(in row_num int, in cuser varchar(32)) begin declare id varchar(32); -- 计数器 declare counter int default 0; -- 插入语句的前半部分 set @pre_sql =
mysql拼接sql带参数,sql拼接
weixin_42510924的博客
03-18 659
模棱02016-10-26 21:53req.setCharacterEncoding("utf-8");try {String command = req.getParameter("command");String description = req.getParameter("description");req.setAttribute("command", command);req.set...
数据的批量添加、批量修改
博客园
12-05 7226
在进行数据推送或者其他业务时，会需要进行批量操作，这个时候就可以用到了Spring的jdbcTemplate。 一、批量添加时： //批量修改将未读取0改为读取中：1 arcCorpinfoDao.readFlagState(); //查询临时表:读取中readflag=1，数据存放List List&lt;ArcCorpinfoMid&gt; arcCorpI...
SQL 插入语句
热门推荐
uj
05-05 1万+
插入单条语句 insert into t_name(key1, key2) values(value1, value2); 值和名字对应即可 insert into t_name values(); 必须顺序插入t_name对应的字段 插入多条语句(完整或部分) insert into t_name() values(),values(),values(); 插入多条数据信息时，此...
java进阶|MyBatis系列文章(六)XML版批量操作sql
qq_35006660的博客
04-17 1156
一,MyBatis框架介绍MyBatis是支持定制化SQL,存储过程以及高级映射的优秀的持久层框架。MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集。 MyBati...
Mybatis中 通过foreach 批量插入实体类信息的一个注意点
lykln的博客
10-21 1111
mybatis通过foreach 批量插入实体类信息时: 在 foreach中最后一个#{} 不要带逗号 <insert id="addUsers"> insert into kunda_user (userCode,userName,userPassword,gender,birthday,phone,address,userRole) values <foreach collection="list" item="users" s
sql注入、Mybatis中的#{参数}和${参数}
qq_45859087的博客
08-08 951
sql注入、Mybatis中的#{参数}和${参数}sql注入概述：mybatis中的#{参数} 和 ${参数}sql注入解决方案#{参数}和${参数}总结 sql注入概述： 针对SQL注入的攻击行为可描述为：在与用户交互的程序中（如web网页）,非法用户通过可控参数注入SQL语法,将恶意sql语句输入拼接到原本设计好的SQL语句中，破坏原有SQL语法结构，执行了与原定计划不同的行为，达到程序编写时意料之外结果的攻击行为，其本质就是使用了字符串拼接方式构造sql语句，并且对于用户输入检查不充分,导致SQL
oracle批量insert多条_100%让你在10分钟内学会如何用python将数据批量的插入到数据库
weixin_39805529的博客
11-17 420
我是一名挣扎在编程链底端的pythoner，工作中既要和数据打交道，也要保持和erp系统，web网站友好的"沟通"···，我会时不时的分享下工作中遇到那点事，包括个人觉得值得记录的编程小技巧，还有就是遇到的问题以及解决方案，还有源码的阅读等等，可能也有编程中的生活感悟，不说了，我要去重构我的程序了本文基于python, 使用pandas, pymysql等三方库实现了向数据库中高效批量插入数据，一...
mybatis批量插入或更新（SQL和oracle）
weixin_44503925的博客
04-08 1526
下面是批量插入的代码 语法 ：insert into 表名（表字段，表字段） values < foreach> (#{},#{})< /foreatch> <insert id="insertList" useGeneratedKeys="true" parameterType="java.util.List"> insert into material_files(id,shop_id,file_name,suffix_name,file_s
mysql 批量提交 拼接sql,MySql多条SQL语句的批量处理
weixin_42515058的博客
03-17 424
【SRM】649 t2题意 一个数列\(A\),数的范围均在\([0, 2^N-1]\)内,求一个\(B\),使得新生成的数列\(C\)中逆序对最多(\(C_i = A_i xor B\)),输出最多的逆序对.(\(|A| ...visibleViewController和topViewController 获取当前显示的页面原文:http://blog.sina.com.cn/s/blog_8...
批量生成SQL语句（EXCEL、PYTHON等）
weixin_45642669的博客
03-19 814
今天用了用UES，觉得这个软件不如EXCEL。 EXCEL是表格软件，而UES是文本阅读器和编辑器，UES没有表格的能力，还是略微拉胯了点。 今天整合了下，看看怎么生成SQL。 如果是少量，又不想编程的话，我推荐用EXCEL的函数功能。 EXCEL支持字符串的拼接，函数名：CONCATENATE。 我自己都懒得打，直接这么点： 首字母为C又很长的，就是字符串拼接函数。 然后，将需要拼接的字符和函数拼接在一起。 将需要的内容和SQL函数拼接在一起。 比如：我要导入100个人名到数据库。 需要写： 怎么生成S
易语言mysql 记录集_易语言连接sql数据库_记录集连接sql
weixin_29327525的博客
02-12 1964
易语言如何连接网站上sql数据库?_突袭网-提供600x239 - 25KB - JPEG易语言网络验证外加连接\/界面修改简单修改\/IIS790x575 - 94KB - JPEGplsql和navicat连接远程oracle(易错点) - 花开易932x341 - 42KB - PNG发表了博文《易语言,SQL简单操作实例代码. 来240x152 - 13KB - JPEG从未被超越 和力记...
JdbcTemplate的四种批处理的用法
灬烈风 的博客
11-02 5531
JdbcTemplate批量写入方法详解 再做详解之前，我们先来了解一下JdbcTemplate批量操作的5个API接口: 一.使用提供的SQL语句执行批处理 这个方法相对比较简单，不做详细解析，该方法主要是将提供的sql列表作为一个batch进行执行，每个sql的update count可以通过返回int[]的长度计算来获得 二.使用批处理更新和BatchPreparedStatementSetter 1. 接口API源码 int[] batchUpdate(String sql, ..
JdbcTemplate batchUpdate 批量操作加事务
fyqcdbdx的专栏
03-18 1万+
JdbcTemplate batchUpdate 可以用来进行批量操作，但在中途某条数据出错时如何处理？ 加入spring事务，目前发现一种能通过spring编程式事务（基于TransactionTemplate 的事务管理）可以实现。 1.不带返回类型 public void transfer(final List sqls) {         transactionTem
易语言实现链接mysql数据库，执行sql语句
程序不是代码的博客
11-06 3333
.版本 2 .支持库 mysql .程序集 窗口程序集_启动窗口 .子程序 _按钮1_被单击 .局部变量 ip, 文本型 .局部变量 端口, 整数型 .局部变量 用户, 文本型 .局部变量 密码, 文本型 .局部变量 数据库名, 文本型 ip ＝ 编辑框1.内容 端口 ＝ 到整数 (编辑框4.内容) 用户 ＝ 编辑框2.内容 密码 ＝ 编辑框3.内容 数据库名 ＝ 编辑框7.内容 句...
SQL批量行转列已经多个字段拼接
时间就像一张网，你撒在哪里，你的收获就在哪里
04-24 5114
第二步：运行一下SQL,就可以得出以下拼接(合并)效果。关键点是where jobId=V_WIP_Balance.jobId   。你想要第一个显示什么，这个ID就要在视图中查出来，不然会数据有误，而且查询速度非常慢。 select  S_Customer.nickName 客户, S_Job.partNum 生产型号, isnull(SO_Num.订单数 - CPCK.出库数量,0)
SQL批量插入：性能对比与优化策略
4. **字符串拼接插入**：针对单列字段，可以将数据拼接成字符串，然后在存储过程中拆分并逐条插入。尽管避免了循环，但实际效果与逐条插入类似，提升有限。 5. **异步创建和消息队列**：这种方案涉及更复杂的系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值