Oracle批量插入数据SQL语句太长出错:无效的主机/绑定变量名

Oracle数据库,用mybatic批量插入数据:

 <insert id="saveBatch" parameterType="io.renren.entity.NodeDataEntity"  databaseId="oracle">
        insert into "NODE_DATA"
        (
        "NODE_ID",                                                                                     
        "DATA_TIME",                                                                                     
        "DATA_VALUE",       
        "DATA_NUMBER",                                                                                     
        "DATA_VERSION",
        "INVALID"                                                                                                                                                
        )
        <foreach collection ="list" item="item" index= "index" separator =" union ">
            SELECT                                                               
                #{item.nodeId, jdbcType=VARCHAR},                                                                                 
                #{item.dataTime, jdbcType=DATE},                                                                                 
                #{item.dataValue, jdbcType=VARCHAR},                                                                                 
                #{item.dataNumber, jdbcType=NUMERIC}, #{item.dataVersion, jdbcType=NUMERIC}, #{item.invalid, jdbcType=NUMERIC} FROM dual </foreach > </insert>

当数据量过大时,出错:

ORA-01745: 无效的主机/绑定变量名

网上一查说是缺失逗号,查找并排除了,问题依旧。

后来想到可能是SQL语句太长,在上例中插入数据是一万多条,拼接成的SQL语句至少好几十k了。

长度限制的相关文章:http://bbs.csdn.net/topics/390302851?page=1

长度限制说明如下:

1. IN 子句中的LIST个数最长为1000,超过该数目将报错,这里可转用一个临时表来解决;

2.  * CREATE TRIGGER语句文本的字符长度不能超过32KB(触发器中不能使用LONG, LONG RAW 类型;触发器内可以参照LOB 类型列的列值,但不能通过 :NEW 修改LOB列中的数据;)顺便说一下,触发器中的PARENT关键字,只在嵌套表触发器中有效,

3.  * 11G以前,DBMS_SQL对输入的SQL长度不能超过32K,原因是输入参数只能是VARCHAR2类型,11G后,可以用CLOB作为输入参数,则取消了这个限制

3.  * 一个PL/SQL的包、过程、函数、触发器的大小,在UNIX上最大是64K,而WINDOWS则是32K大小(32K这个应该不准,看下面的测试)

4.  * SQL语句可以有多长?(网友说)Oracle文档说是64K,实际受一些工具的限制会较这个值低,但网友测试发现可以很长,甚至超过1M(我测试过 170K的都没问题)。具体多长,10G也未说明,只是与很多环境有关:数据库配置,磁盘空间,内存多少。。。

5.  PL/SQL中,表达式/SQL本身的长度是可以达到比较长的长度(50K)左右,如:v_str:=:new.f1||:ndw.f2。。。 ; select :new.f1||:new.f2。。。 into v_str from dual; 另外发现,如果这样写:v_str := ‘a’||’b’||。。。则允许的表达式长度将大大的减少。如果表达式/SQL过长,超过了一个ORACLE包/过程允许的最大程序长度,则在编译时报 pls-123:program too large错误,这是pl/sql编译器本身的限制造成的,即表达式/SQL的长度在PL/SQL中受限于包/过程的最大大小 

varchar2 sql最多4000个字节,2000个汉字字符  pl/sql 最多32767个字节
clob     最多4Gb 

明白了可能是这个问题后,针对原因改写代码,限制每条SQL语句最多插入2000条后,问题解决。

 1         if (dataList.size() > 0) {
 2             new Thread() {
 3                 @Override
 4                 public void run() {
 5                     //为了防止SQL语句超出长度出错,分成几次插入
 6                     if(dataList.size()<=2000){
 7  nodeDataService.save(dataList); 8 }else{ 9 int times = (int)Math.ceil( dataList.size()/2000.0 ); 10 for(int i=0; i<times; i++ ){ 11 System.out.println("分批插入:"+ i); 12 nodeDataService.save(dataList.subList(i*2000, Math.min((i+1)*2000, dataList.size()-1))); 13  } 14  } 15  } 16  }.start(); 17 }

 

转载于:https://www.cnblogs.com/legendjslc/p/7204734.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
我们要做到不但会写SQL,还要做到写出性能优良的SQL语句。   (1)选择最有效率的表名顺序(只在基于规则的优化器中有效):   Oracle的解析器按照从右到左的顺序处理FROM子句中的表名,FROM子句中写在最后的表(基础表 driving table)将被最先处理,在FROM子句中包含多个表的情况下,您必须选择记录条数最少的表作为基础表。假如有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交叉表是指那个被其他表所引用的表。   (2)WHERE子句中的连接顺序:   Oracle采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前, 那些能够过滤掉最大数量记录的条件必须写在WHERE子句的末尾。   (3)SELECT子句中避免使用‘*’:   Oracle在解析的过程中, 会将‘*’依次转换成任何的列名, 这个工作是通过查询数据字典完成的, 这意味着将耗费更多的时间。   (4)减少访问数据库的次数:   Oracle在内部执行了许多工作: 解析SQL语句, 估算索引的利用率, 绑定变量 , 读数据块等。   (5)在SQL*Plus , SQL*Forms和Pro*C中重新配置ARRAYSIZE参数, 能够增加每次数据库访问的检索数据量 ,建议值为200。   (6)使用DECODE函数来减少处理时间:   使用DECODE函数能够避免重复扫描相同记录或重复连接相同的表。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值