mybatis 适配gbase8s中批量插入问题

于 2024-08-29 15:32:06 发布
阅读量314 收藏 8
点赞数 3
分类专栏： gbase8s 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangyx01/article/details/141679641
版权

近期在某项目中在使用mybatis 的foeach标签向gbase8s数据库插入数据库报错

Caused by: java.sql.SQLException: 主变量号无效。
    at com.gbasedbt.util.IfxErrMsg.getSQLException(IfxErrMsg.java:409)
    at com.gbasedbt.jdbc.IfxSqli.a(IfxSqli.java:3576)
    at com.gbasedbt.jdbc.IfxSqli.D(IfxSqli.java:3856)
    at com.gbasedbt.jdbc.IfxSqli.dispatchMsg(IfxSqli.java:2746)
    at com.gbasedbt.jdbc.IfxSqli.receiveMessage(IfxSqli.java:2671)
    at com.gbasedbt.jdbc.IfxSqli.executePrepare(IfxSqli.java:1292)
    at com.gbasedbt.jdbc.IfxPreparedStatement.f(IfxPreparedStatement.java:490)
    at com.gbasedbt.jdbc.IfxPreparedStatement.a(IfxPreparedStatement.java:471)
    at com.gbasedbt.jdbc.IfxPreparedStatement.<init>(IfxPreparedStatement.java:273)
    at com.gbasedbt.jdbc.IfxSqliConnect.h(IfxSqliConnect.java:6348)
    at com.gbasedbt.jdbc.IfxSqliConnect.prepareStatement(IfxSqliConnect.java:2552)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.ibatis.datasource.pooled.PooledConnection.invoke(PooledConnection.java:255)
    at com.sun.proxy.$Proxy7.prepareStatement(Unknown Source)
...

其原因为在使用 foreach 标签做数据插入时，本质是将集合中的数据拼接成一个大sql，如果sql中使用了#{}，则超出 32765 报错主机变量不足，oracle 的上限为65535，mysql中 当整体 sql长度超出范围后一样会报错

解决方案

1减少一次传入集合的数量，保证整体sql 绑定变量不超过32765

2使用 ${}代替#{}

3使用mybatis 推荐的ExecutorType.BATCH 方式去批量插入

        InputStream inputStream = Resources.getResourceAsStream(resource);
        sf = new SqlSessionFactoryBuilder().build(inputStream);
        sqlsession = sf.openSession(ExecutorType.BATCH);
        TableOneMapper tableOneMapper = sqlsession.getMapper(TableOneMapper.class);
        List<TableTwo> list =new ArrayList<>();
        for (int i=1;i<= 20000;i++){
            list.add(new TableTwo(i, UUID.randomUUID().toString(),UUID.randomUUID().toString()));
        }
        list.stream().forEach(tableTwo -> tableOneMapper.instTab3(tableTwo));
        sqlsession.commit();
        sqlsession.close();

在 gbase8s 某些版本中，使用foreach 标签做插入时不支持 byte,text,clob,blob,若使用方案3 则没有问题，并且ExecutorType.BATCH 的效率要远远高于其他方式

因为ExecutorType.BATCH 底层使用的是PreparedStatement.addBatch(),先将部分数据缓存起来，一起批量提交，极大的减少了客户端与数据库的交互

从数据库协议中观察不难发现

使用ExecutorType.BATCH 时 只做一次PREPARE，多次 SQ_BIND，并且返回结果也是批量一起返回，而不使用批量插入则每一条数据都需要先PREPARE，SQ_BIND，返回结果

gbase_lmax
关注
专栏目录
mybatis+GBase8s jdbc实现GBase8s数据库操作
qq_39280087的博客
09-23 549
mybatis是一款在持久层使用的SQL映射框架，可以将SQL语句单独写在XML配置文件中，或者使用带有注解的Mapper映射类来完成数据库记录到Java实体的映射。它支持定制化SQL、存储过程及高级映射。MyBatis框架是对JDBC轻量级的封装，避免了几乎所有的JDBC代码和手动设置参数以及获取结果集。 本文通过实例介绍如何通过mybatis中间件实现连接GBase8s数据库，实现数据查询与添加过程。 1、首先，工程中引入mybatis包文件，以及GBase8s驱动程序。 2、配置mybatis-co
MyBatis操作GBase8s数据库的执行流程
qq_39280087的博客
08-24 1566
MyBatis可能很多人都一直在用，但是MyBatis的SQL执行流程可能并不是所有人都清楚了，那么既然进来了，通读本文你将收获如下： 1、如何使用Mybatis整合GBase8s数据库 2、Mapper接口和映射文件是如何进行绑定的 3、MyBatis中SQL语句的执行流程 4、自定义MyBatis中的参数设置处理器typeHandler 5、自定义MyBatis中结果集处理器typeHandler PS：本文基于MyBatis3.5.5版本源码 1.Mybatis整合GBase8s数据库 Mybatis
GBase8s jdbc批量插入数据的正确方法
qq_39280087的博客
02-21 2169
GBase9s jdbc实现了标准的批量插入接口，与其他数据库厂商使用方式一致，降低了使用成本。再次基础上还新增了一个url参数用于提升批量插入性能，通过开启该参数在网络友好的情况下通过降低交互次数提升性能。首先介绍参数如下： IFX_USEPUT=1：开启性能优化，提升插入性能 IFX_USEPUT=0：默认值，不开启优化。 下面结合测试用例讲解批量插入的标准方式。 1、用例如下： public static void main(String[] args) throws Exception { Str
GBase8s数据库INSERT 语句
weixin_48486849的博客
02-23 1627
使用 INSERT 语句来向表或视图内插入一个或多个新行； 用法 要将数据插入到表内，您必须或拥有该表或有对该表的 Insert 权限（请参阅 GRANT 语句）。要 将数据插入视图内，您必须有所需要的 Insert 权限，且该视图必须满足在 通过视图插入行 中说明 的要求。 如果该表或视图有数据完整性约束，则被插入的行必须满足该约束条件。如果不满足，则数据库服 务器返回错误。如果将检查模式设置为 IMMEDIATE，则在每一 INSERT 语句的末尾检查所有指 定的约束。如果将检查模式设置为 DEFERR
GBase 8c使用合并方式更新和插入数据（一）
qq_41614765的博客
09-17 969
MERGE INTO语句可将目标表和源表中的数据，通过关联条件进行匹配。若关联条件匹配，则对目标表进行更新操作（UPDATE）；若关联条件不匹配，则对目标表执行插入操作（INSERT）。在需要将数据批量添加至现有表的场景下，GBase 8c数据库提供了MERGE INTO语句，通过表合并的方式，高效地将新数据添加到现有表。用户如需进行MERGE INTO操作，需要同时拥有目标表的UPDATE和INSERT权限，以及源表的SELECT权限。
GBase 8a UNION用法
weixin_42423599的博客
10-31 514
GBase 8a UNION用法
springboot整合druid、mybatis连接gbase8s.doc
09-23
在本文中，我们将深入探讨如何将SpringBoot与Druid数据源和MyBatis集成，以连接到Gbase8s v8.7数据库。Gbase8s是一款高性能的关系型数据库管理系统，特别适合处理大规模数据。我们将使用Spring Boot 2.1.11版本，...
GBase8s + MyBatis 操作示例
gbase8sl301的博客
09-28 1553
GBase8s Spring Boot MyBatis 操作示例 本文将创建一个简单的 Spring Boot 项目结构，并演示如何使用 Mybatis 进行GBase 8s 数据库的数据 处理工作(插入，选择，更新和删除)，以及分页显示。 MyBatis + XML方式 本文我们会使用 mybatis-spring-boot-starter 自动化配置 MyBatis 主要配置。同时，在 XML 中编写相 应的 SQL 操作。 1.1 引入依赖 在 pom.xml 文件中，引入相关依赖。 <?x
优化GBase8s-MyBatis foreach性能问题
qq_39280087的博客
12-22 655
使用MyBatis的foreach批量插入大量数据到GBase8s数据库时，性能会很低。下面探讨怎么优化此问题。 1、mapper configuration的foreach 配置及原因分析 insert into user (id, name) values ( #{model.id}, #{model.name} ) 乍看上去这个foreach没有问题，但是经过项目实践发现，当表的列数较多（20+），以及一次性插入的行数较多（5000+）时，整个插入的耗时十分漫长，达到了14分钟，这是不能容忍的
GBASE南大通用数据库支持预处理语句，及其示例分享
weixin_47390342的博客
02-19 413
GBase ADO.NET 支持预处理语句，使用预处理语句时需要创建一个 GBaseCommand 命令对象，并且设置相关属性及定义查询语句后调用命令对象的 ExecuteNonQuery()、ExecuteScalar()或 ExecuteReader 方法执行语句。4) 设置命令对象的 CommandText 属性，指明预处理语句，并定义参数。下面的样例代码演示如何定义预处理语句和使用预处理语句功能完成数据 的批量插入。6) 增加命令对象的 Parameters 的参数。3) 使用连接对象打开连接。
GBase 8c使用DML更新和插入表数据（二）
qq_41614765的博客
09-17 750
使用MERGE INTO 语句将源表products的数据合并至目标表newproducts。创建目标表newproducts，并插入数据。创建源表products，并插入数据。
GBase 8c向表中插入数据（二）
qq_41614765的博客
09-20 2002
如果从指定表插入数据到当前表，例如在数据库中创建了一个表customer_t1的备份表customer_t2，现在需要将表customer_t1中的数据插入到表customer_t2中，则可以执行如下命令。向表customer_t1中插入一行：数据值是按照这些字段在表中出现的顺序列出的，并且用逗号分隔。如果需要向表中插入多条数据，除此命令外，也可以多次执行插入一行数据命令实现。没有数值的字段将被填充为字段的缺省值。在删除表的时候，若当前需删除的表与其他表有依赖关系，需先删除关联的表，然后再删除当前表。
xml中拼sql
帅哥威的博客
09-19 565
<update id="selfBatchUpdateBill"> update HSAC_BILL_DETAIL <trim prefix="set" suffixOverrides=","> LAST_UPDATE_DATE = CURRENT_TIMESTAMP, OBJECT_VERSION_NUMBER =OBJECT_VERSION_NUMBER+1, <bind name="userId" valu.
走进GBase 8s之基础功能（六）批量导入导出​​​​​​​​​​​​​​、增量数据复制、SQL兼容
gbase_a_s_c_d的博客
03-11 2309
批量导入导出 GBase 8s提供多种数据导出导入方式，可以满足用户不同场景下需求，具体包括：dbexport/dbimport、load/unload、onload/unonload。 dbexport/dbimport：命令行接口的导入导出工具，最小导出单元为database，不能通过dbexport导出某一张表的数据。导出内容为明文的CSV文件及DDL sql脚本，CSV文件以表为单位，即一张表一个文件，不指定分隔符时，以’|’分隔。 load/unload：SQL接口工具，最小导出单元为表，也
HBase批量插入数据
咸鱼的小站
08-06 7124
文章目录写在前面关键点实现代码尾记 写在前面 其实下文内容更适合在Spark中作为任务去执行，为了讲解，我先单独拎出来了，使用场景的话其实也很明显，就是大规模将数据写入HBase中。 关键点 大数据组件服务不可用（如断点、磁盘爆炸等）暂时不是本文内容所考虑的内容。 首先，使用HBase1.0以上版本才支持的BufferedMutator，对HBase执行异步写入操作，使用mutate(Li...
如何通过mybatis+GBase8s jdbc实现GBase8s数据库操作
最新发布
09-30
在MyBatis框架下，结合GBase8s JDBC驱动来操作GBase8s数据库，你可以按照以下步骤进行： 1. **添加依赖**: - 首先，你需要将GBase8s JDBC驱动（通常是一个.jar文件）添加到项目的类路径中。如果你使用Maven，可以在pom.xml文件中添加如下依赖： ```xml <dependency> <groupId>com.gbase</groupId> <artifactId>gbase8s-jdbc</artifactId> <version>版本号</version> </dependency> ``` 替换`版本号`为实际的驱动版本。 2. **配置数据源**: 在Spring Boot项目中，可以创建一个DataSource实例，并配置GBase8s的URL、用户名和密码： ```java @Bean public DataSource dataSource() { BasicDataSource dataSource = new BasicDataSource(); dataSource.setDriverClassName("com.gbase.jdbc.GBaseDriver"); dataSource.setUrl("jdbc:gbase://localhost:29700/your_database_name"); dataSource.setUsername("your_username"); dataSource.setPassword("your_password"); return dataSource; } ``` 3. **编写Mapper接口**: 创建一个MyBatis的Mapper接口，定义SQL映射方法，例如查询、插入、更新和删除操作： ```java // UserMapper.java public interface UserMapper { List<User> getAllUsers(); void addUser(User user); // 其他操作... } ``` 4. **XML映射文件**: 编写Mapper XML文件，描述如何将SQL语句与Mapper接口中的方法对应起来： ```xml <!-- UserMapper.xml --> <mapper namespace="com.example.mapper.UserMapper"> <select id="getAllUsers" resultType="User"> SELECT * FROM users; </select> <insert id="addUser" parameterType="User"> INSERT INTO users (name, email) VALUES (${name}, ${email}); </insert> <!-- 添加其他SQL映射 --> </mapper> ``` 5. **注入Mapper**: 在需要使用的地方，通过SqlSession获取Mapper并进行数据库操作： ```java @Autowired private UserMapper userMapper; public void main() { SqlSession session = sqlSessionFactory.openSession(); try { List<User> users = userMapper.getAllUsers(); // 查询所有用户 userMapper.addUser(newUser); // 插入新用户 } finally { session.close(); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值