spring batch mysql_Spring批处理 - JdbcCursorItemReader使用大型MySQL表抛出OutOfMemoryError

我正在编写一个使用Spring Batch处理来自MySQL数据库表的7,637,064行的程序。我已经用较小的表获得成功,但当JdbcCursorItemReader试图打开游标时,此表中的大量行会导致OutOfMemoryError异常。Spring批处理 - JdbcCursorItemReader使用大型MySQL表抛出OutOfMemoryError

我可以通过抛出一个更大的Xmx来解决这个问题,但在我看来,Spring Batch应该有一种方法来处理这个问题,而且我可能只是缺少一个关键的配置。

Spring Batch的配置:

commit-interval="10" />

在JdbcCursorItemReader设置FETCHSIZE似乎没有任何效果。允许它运行完成的唯一方法是将maxRows设置为一个很小的数字,但只处理该数量的行。

相关的堆栈跟踪:

2012-11-21 11:25:29,931 DEBUG [org.springframework.batch.core.repository.dao.JdbcStepExecutionDao] -

at java.util.Arrays.copyOf(Arrays.java:2734)

at java.util.ArrayList.ensureCapacity(ArrayList.java:167)

at java.util.ArrayList.add(ArrayList.java:351)

at com.mysql.jdbc.MysqlIO.readSingleRowSet(MysqlIO.java:2821)

at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:467)

at com.mysql.jd

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值