【数据库BUG】Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value

原创 已于 2022-11-04 10:34:51 修改 · 3.7k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #BUG

于 2022-09-21 15:47:45 首次发布
本文介绍了一个在使用PostgreSQL数据库时遇到的问题，即IN子句中参数过多导致的错误，并提供了通过分批查询来解决问题的具体方法。

问题描述：

数据库是pgsql，在进行查询操作时，使用了in(xxx,xxx,...),结果因为in里面的参数太多了导致报错

问题原因

当你使用JDBC组装预执行语句的时候，参数的数量是有一个限制的，限制的大小就是2个byte的整数的大小，也就是32767，当超过这个大小的时候你就会看到上面的错误。这是因为PostgreSQL客户端/后端协议规定从客户端发送到PostgreSQL后端的参数的数量为2个byte的integer。
在这里插入图片描述

解决办法

当时采用的最直接的解决办法是，分批次查询，然后把查询结果塞到列表里面。

Debezium报错处理系列十三：Caused by: java.io.EOFException
zhengzaifeidelushang的博客
04-13 1882
{ "id":0, "state":"FAILED", "worker_id":"p-qcbj6-dd-hadoop-debezium-001.prod-qcloud-dd-insight.net:8083", "trace":"org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be.
Caused by: java.io.IOException: 远程主机强迫关闭了一个现有的连接和Unable to connect to Redis； nested exception is io.
ZXin153的博客
08-04 8920
Caused by: java.io.IOException: 远程主机强迫关闭了一个现有的连接 和Unable to connect to Redis; nested exception is io.lettuce.core.RedisConnect 今天测试登录的忘记密码功能时，出现了一个很有意思的错误；我们知道前后端分离以及很多大型项目都需要布置负载均衡，也就是在启动这类项目的时候，要启动redis缓存机制，然而今天就遇到了这样一个被redis远程强迫拒绝的错误： 百度翻译的意思是：无法连接到red
PostgreSQL（十二）报错：Tried to send an out-of-range integer as a 2-byte value: 51000
ACGkaka的博客
05-09 4762
PostgreSQL（十二）报错：Tried to send an out-of-range integer as a 2-byte value: 51000
【问题处理】PSQLException错误Tried to send an out-of-range integer as a 2-byte value: 110629
像风走过八千里
01-31 722
PSQLException错误Tried to send an out-of-range integer as a 2-byte value: 110629，出现这个问题是因为使用的gauss jdbc驱动支持的参数个数最大是32767，也就是SQL中的参数个数最大不超过32767，而我们的操作的参数个数是110629，超过了上限32767。可以采用分批量操作的方法来解决这个问题，限制一次操作的最大参数个数，分批量多次操作，然后将多次操作的结果合并即可。
【PostgreSQL数据库-Tried to send an out-of-range integer as a 2-byte value: 53568报错】
小怪兽的博客
01-06 919
其实日志的报错部分往上翻，其实也能大致看出这个报错的SQL，涉及到了大量的绑定变量。报错的位置只有一处，如下是42.3.10版本pgjdbc的报错部分，其中，判断条件里Short.MIN_VALUE和Short.MAX_VALUE的值分别为-32768和32767，表示SQL 解析过程中， SQL中的参数的个数最大不超过32767。但其实简单测试下就可以发现，列的长度不够，报的错误和这个是不一样的。
java.io.IOException: Tried to send an out-of-range integer as a 2-byte value :79944
进行中
09-12 6660
当你使用JDBC组装预执行语句的时候，参数的数量是有一个限制的，限制的大小就是2个byte的整数的大小，也就是32767，当超过这个大小的时候你就会看到上面的错误。这是因为PostgreSQL客户端/后端协议规定从客户端发送到PostgreSQL后端的参数的数量为2个byte的integer。 解决方案：遇到上述问题，是因为postpresql数据限制导致的，在不能更改数据库配置的情况，使用...
Caused by: java.io.lOException: Triedto send an out-of-range integer as a 2byte value: 52832
weixin_44089271的博客
05-13 881
从源代码中可以看到pgsql使用2个字节的integer，故其取值范围为[-32768, 32767]。postgresql对于sql语句的参数数量是有限制的，最大为32767。这意味着sql语句的参数数量，即行数*列数之积必须小于等于32767.如果一次插入的数据量太多，使得参数数量超过了最大值，只能分批插入了。假如表有10列，那么一次最多插入3276行。
Hadoop报错Caused by: java.io.IOException: Stream closed问题
wangkuangood3200的专栏
11-10 4093
【问题现象】 这几天离线计算平台有个别计算作业运行失败，排查原因，查看平台日志，报错关键信息如下： WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.Error: org.apache.hive.s
caused by java.io.io,推送通知 - 产生的原因：java.io.IOException异常：toDerInputStream拒绝标签类型45...
weixin_42499441的博客
02-25 2876
I got this error when my server try to push a notification to a specific device based on device token and ck.pem (combination between .pem file, cert and key).Caused by: java.io.IOException: toDerInpu...
Tried to send an out-of-range integer as a 2-byte value
初心不改，事在人为
05-12 5096
postgresql对于sql语句的参数数量是有限制的，最大为32767。 比如我这里的代码，总共有17个字段，因为最大是32767，这样最多允许32767/ 17 大约是1 927个，所以出现了以上的代码。
PostgreSQL【异常 01】java.io.IOException:Tried to send an out-of-range integer as a 2-byte value 分析+解决
Java与大数据相关实践内容分享！
06-23 4444
PostgreSQL【异常 01】java.io.IOException:Tried to send an out-of-range integer as a 2-byte value 分析+解决
postgresql: IOException: Tried to send an out-of-range integer as a 2-byte value: 35834
qiaobing1226的博客
12-13 791
Tried to send an out-of-range integer as a 2-byte value: 35834
PostgreSQL报错Tried to send an out-of-range integer as a 2-byte value: xxxxx 解决方法
qq_42418042的博客
04-12 1447
将原有list进行分割，如果需要循环N次，那么一次最多插入32767行数据。
java pgsql Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value:
sinat_15872851的博客
11-27 910
也就是说 pgsql使用2个字节的integer，故其取值范围为[-32768, 32767]。但是我们代码在传参数的时候 已经到了 48857；因此 导致不能正常执行；postgresql对于sql语句的参数数量是有限制的，最大为32767。
【openGauss】openGauss批量插入或更新详解-解决Tried to send an out-of-range integer as a 2-byte value: ${参数数量}
tttzzzqqq2018的博客
05-18 1403
在数据库操作中，批量插入或更新数据时，常见的做法是通过SQL拼接实现，但这种方式存在参数数目越界、数据库兼容性差异、无法共享预编译语句、SQL文本过长等问题。为解决这些问题，建议使用JDBC的批更新功能，避免将多条记录拼接到SQL上。通过JDBC的PreparedStatement或Spring的JdbcTemplate，可以实现高效的批量操作，减少硬解析、内存消耗和SQL文本长度。此外，需注意避免事务嵌套、正确处理NULL值参数，以及处理openGauss JDBC批更新时的错误提示问题。总之，使用批更新
java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 32801
MusicIsMyAll的博客
12-04 9551
java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 32801 在使用SpringData JPA的时候我们喜欢批量的向数据库插入数据，用于提升性能，我自己的一次小demo的学习中，使用了PostgreSql数据库，当我尝试向数据库执行一条查询语句的时候（条件包含九万个id值）他报错了，报错信息...
java.io.IOException: Tried to send an out-of-range integer as a 2-byte value
07-24 8428
The newest feature in the software I’m developing at Just Software is a workstream, which is our aggregate name for microblog and activity stream functionality. Since we’re using a relational DB we’
java.io.IOException:Tried to send an out-of-range integer as a 2-byte value 分析+解决
qq_40919128的博客
07-11 212
例如：insert into table(id,name,gender,type),如果批量插入10000条，则参数的数量=10000*4。PostgreSQ&GaussDB数据库批量插入报错，原因是数据库批量插入的参数是有数量限制的。最终解决办法分批插入，数量不要超过高斯数据库的限制。
110 Tried to send an out-of-range integer as a 2-byte value: 40003
970655147的专栏
03-21 670
前言 呵呵 这个也是一个之前碰到的一个问题, 主要的问题是 发送给数据库的 sql 参数太多了, 呵呵 超过了 postgres 客户端, 服务器 交互的参数的数量的上限了 之前记录了一个 todo, 最近的时候 看了一下 这部分的代码, 以及 涉及到的相关的协议 另外 例子中会有一个对比, 就是通过 jpa 的 specification 交互的参数来传递这 4w 个参数是有问题的, 会抛出异常 但是假设 我们是将 4w 个参数的查询封装成 sql 语句, 直接传递个服务器, 那么是可以正常...
Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 58131 at org.postgresql.core.PGStream.sendInteger2(PGStream.java:359) ~[postgresql-42.3.8.jar!/:42.3.8] at org.postgresql.core.v3.QueryExecutorImpl.sendParse(QueryExecutorImpl.java:1604) ~[postgresql-42.3.8.jar!/:42.3.8] at org.postgresql.core.v3.QueryExecutorImpl.sendOneQuery(QueryExecutorImpl.java:1929) ~[postgresql-42.3.8.jar!/:42.3.8]
最新发布
08-09
当使用 PostgreSQL 的 JDBC 驱动进行数据库操作时，可能会遇到 `java.io.IOException: Tried to send an out-of-range integer as a 2-byte value` 的异常。该异常通常发生在尝试发送一个超出 2 字节整数范围（即超出 -32768 到 32767 的范围）的整数值时，尤其是在执行大规模数据插入或批量操作时[^1]。 此问题的根本原因在于 PostgreSQL 客户端/后端协议规定参数的数量必须是 2 字节整数的大小，即最多 32767 个参数。当使用 JDBC 组装预执行语句时，如果参数数量超过这个限制，就会触发该异常。例如，当使用 `PreparedStatement` 或批量插入时，每个参数都会被当作一个单独的条目发送，当总数超过 32767 时，就会抛出该错误[^2]。 ### 解决方案 #### 1. 分批次处理数据 为了规避此限制，可以将数据分批次处理，确保每次发送的参数数量不超过 32767。例如，在使用 `SqlSession` 执行批量插入时，可以设置每次提交的条数，并在达到阈值时提交事务，避免参数数量超过限制： ```java public void insertToResultExcel(List<Map<String, Object>> paramList) { SqlSession batchSqlSession = null; try { System.err.println("插入的数据量有---------->" + paramList.size()); batchSqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH, false); int batchSize = 10000; for (int i = 0; i < paramList.size(); i++) { Map<String, Object> map = paramList.get(i); PointDomain pointDomain = Map2Bean.map2Bean(map, PointDomain.class); batchSqlSession.getMapper(SuanFaMapper.class).insert(pointDomain); if (i % batchSize == 0 && i != 0) { batchSqlSession.commit(); } } batchSqlSession.commit(); } catch (Exception e) { e.printStackTrace(); } finally { if (batchSqlSession != null) { batchSqlSession.close(); } } } ``` 通过这种方式，可以有效避免参数数量超过 2 字节整数限制的问题[^4]。 #### 2. 避免使用大量参数的 SQL 语句 在构建 SQL 语句时，应尽量避免构造包含大量 `VALUES(...)` 的插入语句，因为每个值都会被视为一个单独的参数。例如，当插入大量数据时，可以使用 `COPY` 命令或使用文件导入的方式替代直接的 `INSERT` 操作，以减少参数数量[^3]。 #### 3. 升级 PostgreSQL JDBC 驱动 某些 PostgreSQL JDBC 驱动版本可能对此限制进行了优化或调整。建议使用最新版本的驱动，以确保兼容性和性能的提升。 ### 总结 `java.io.IOException: Tried to send an out-of-range integer as a 2-byte value` 是由于 PostgreSQL 协议限制导致的常见问题。通过合理控制参数数量、分批次处理数据、优化 SQL 构造方式以及升级驱动版本，可以有效解决此问题。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值