背景:今天修改一个同步数据的代码(从数据A中aa表获取数据,插入到数据B中bb表),首先从aa表中查询出所有数据,放在List中,调用insert all into 语句将aa表中的数据批量插入到bb表中,结果一直报错:
[PORTAL] INFO - 2017-02-27 15:27:35,945 - org.springframework.beans.factory.xml.XmlBeanDefinitionReader - Loading XML bean definitions from class path resource [org/springframework/jdbc/support/sql-error-codes.xml]
[PORTAL] INFO - 2017-02-27 15:27:36,010 - org.springframework.jdbc.support.SQLErrorCodesFactory - SQLErrorCodes loaded: [DB2, Derby, H2, HSQL, Informix, MS-SQL, MySQL, Oracle, PostgreSQL, Sybase]
org.springframework.jdbc.BadSqlGrammarException: SqlMapClient operation; bad SQL grammar []; nested exception is com.ibatis.common.jdbc.exception.NestedSQLException:
--- The error oc
curred while applying a parameter map.
--- Check the insertAwOrganizationsTemp-InlineParameterMap.
--- Check the statement (update failed).
--- Cause: java.sql.SQLException: ORA-01745: 无效的主机/绑定变量名
网上说是传参的问题,检查传参的数据类型与数据库字段类型是否匹配等等,修改后无果……
java代码:
public void insertAwOrganizationsTemp(List list) throws DaoException {
if ( list == null || list.size() == 0 ) {
return ;
} else {
super.getSqlMapClientTemplate().insert("insertAwOrganizationsTemp",list);
}
}
xml代码:
<insert id="insertAwOrganizationsTemp" parameterClass="java.util.ArrayList"> insert all <iterate conjunction=" "> into bb ( NAME ) values <![CDATA[ (
) ]]> </iterate> select * from dual </insert>nvl(#list[].name#,'')
分析问题:检查测试过程中,我发现由于参数list的size为17000+,日志打印出的sql在plsql执行无响应,于是我猜想,是不是因为参数过大导致的?于是我修改了同步数据的逻辑,改为分批同步。
最终解决:把同步的逻辑改为每次同步500条,分多次同步,最终测试结果显示,数据可以同步了!问题解决!~
虽然问题暂时解决了,但是这个同步逻辑的效率和稳定性有待验证!
存在疑问:因为只是同步一张表,本次同步数据并没有考虑使用kettle同步,两种实现方式在效率和稳定性上可比性如何,还请大神们赐教!谢谢