【DataX同步】字段长了就报异常java.lang.OutOfMemoryError: Java heap space

最新推荐文章于 2024-05-19 16:49:38 发布
最新推荐文章于 2024-05-19 16:49:38 发布
阅读量1.8k 收藏
点赞数 1
文章标签： java jvm 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cui8483/article/details/128832384
版权

datax同步数据报“java.lang.OutOfMemoryError: Java heap space”：

./datax.py  --jvm="-Xms3G -Xmx3G"  XXX.json

----------------------------------------------------------------------------

java.lang.OutOfMemoryError: Java heap space
Dumping heap to /home/dic_dev/datax/log/java_pid9767.hprof ...
Heap dump file created [14845609 bytes in 0.096 secs]
2023-02-01 13:44:40.770 [0-0-0-reader] ERROR ReaderRunner - Reader runner Received Exceptions:
java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method) ~[na:1.8.0_45]
        at java.lang.reflect.Array.newInstance(Array.java:75) ~[na:1.8.0_45]
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84) ~[rdbmsreader-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
        at java.lang.Thread.run(Thread.java:745) [na:1.8.0_45]
Exception in thread "taskGroup-0" com.alibaba.datax.common.exception.DataXException: Code:[Framework-13], Description:[DataX插件运行时出错, 具体原因请参看DataX运行结束时的错误诊断信息 .].  - java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method)
        at java.lang.reflect.Array.newInstance(Array.java:75)
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672)
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005)
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277)
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146)
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844)
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358)
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192)
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531)
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193)
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873)
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167)
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281)
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491)
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409)
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195)
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84)
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57)
        at java.lang.Thread.run(Thread.java:745)
 - java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method)
        at java.lang.reflect.Array.newInstance(Array.java:75)
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672)
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005)
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277)
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146)
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844)
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358)
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192)
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531)
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193)
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873)
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167)
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281)
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491)
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409)
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195)
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84)
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57)
        at java.lang.Thread.run(Thread.java:745)

        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:40)
        at com.alibaba.datax.core.taskgroup.TaskGroupContainer.start(TaskGroupContainer.java:195)
        at com.alibaba.datax.core.taskgroup.runner.TaskGroupContainerRunner.run(TaskGroupContainerRunner.java:24)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method)
        at java.lang.reflect.Array.newInstance(Array.java:75)
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672)
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005)
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277)
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146)
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844)
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358)
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192)
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531)
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193)
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873)
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167)
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281)
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491)
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409)
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195)
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84)
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57)
        ... 1 more
2023-02-01 13:44:50.453 [job-0] INFO  StandAloneJobContainerCommunicator - Total 0 records, 0 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 0.00%
2023-02-01 13:44:50.454 [job-0] ERROR JobContainer - 运行scheduler 模式[standalone]出错.
2023-02-01 13:44:50.460 [job-0] ERROR JobContainer - Exception when job run
com.alibaba.datax.common.exception.DataXException: Code:[Framework-13], Description:[DataX插件运行时出错, 具体原因请参看DataX运行结束时的错误诊断信息 .].  - java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method)
        at java.lang.reflect.Array.newInstance(Array.java:75)
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672)
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005)
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277)
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146)
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844)
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358)
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192)
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531)
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193)
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873)
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167)
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281)
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491)
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409)
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195)
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84)
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57)
        at java.lang.Thread.run(Thread.java:745)
 - java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method)
        at java.lang.reflect.Array.newInstance(Array.java:75)
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672)
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005)
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277)
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146)
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844)
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358)
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192)
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531)
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193)
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873)
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167)
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281)
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491)
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409)
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195)
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84)
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57)
        at java.lang.Thread.run(Thread.java:745)

        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:40) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.job.scheduler.processinner.ProcessInnerScheduler.dealFailedStat(ProcessInnerScheduler.java:39) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.job.scheduler.AbstractScheduler.schedule(AbstractScheduler.java:99) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.job.JobContainer.schedule(JobContainer.java:535) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:119) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.Engine.start(Engine.java:92) [datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.Engine.entry(Engine.java:171) [datax-core-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.core.Engine.main(Engine.java:204) [datax-core-0.0.1-SNAPSHOT.jar:na]
Caused by: java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method) ~[na:1.8.0_45]
        at java.lang.reflect.Array.newInstance(Array.java:75) ~[na:1.8.0_45]
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226) ~[na:na]
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672) ~[na:na]
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005) ~[na:na]
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277) ~[na:na]
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146) ~[na:na]
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844) ~[na:na]
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358) ~[na:na]
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192) ~[na:na]
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531) ~[na:na]
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193) ~[na:na]
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873) ~[na:na]
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167) ~[na:na]
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281) ~[na:na]
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491) ~[na:na]
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406) ~[na:na]
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443) ~[na:na]
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430) ~[na:na]
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409) ~[na:na]
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195) ~[na:na]
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84) ~[na:na]
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
        at java.lang.Thread.run(Thread.java:745) ~[na:1.8.0_45]
2023-02-01 13:44:50.463 [job-0] INFO  StandAloneJobContainerCommunicator - Total 0 records, 0 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 0.00%
2023-02-01 13:44:50.464 [job-0] ERROR Engine -

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Framework-13], Description:[DataX插件运行时出错, 具体原因请参看DataX运行结束时的错误诊断信息 .].  - java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method)
        at java.lang.reflect.Array.newInstance(Array.java:75)
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672)
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005)
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277)
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146)
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844)
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358)
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192)
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531)
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193)
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873)
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167)
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281)
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491)
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409)
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195)
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84)
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57)
        at java.lang.Thread.run(Thread.java:745)
 - java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method)
        at java.lang.reflect.Array.newInstance(Array.java:75)
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672)
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005)
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277)
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146)
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844)
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358)
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192)
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531)
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193)
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873)
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167)
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281)
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491)
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409)
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195)
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84)
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57)
        at java.lang.Thread.run(Thread.java:745)

        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:40)
        at com.alibaba.datax.core.job.scheduler.processinner.ProcessInnerScheduler.dealFailedStat(ProcessInnerScheduler.java:39)
        at com.alibaba.datax.core.job.scheduler.AbstractScheduler.schedule(AbstractScheduler.java:99)
        at com.alibaba.datax.core.job.JobContainer.schedule(JobContainer.java:535)
        at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:119)
        at com.alibaba.datax.core.Engine.start(Engine.java:92)
        at com.alibaba.datax.core.Engine.entry(Engine.java:171)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)
Caused by: java.lang.OutOfMemoryError: Java heap space
        at java.lang.reflect.Array.newArray(Native Method)
        at java.lang.reflect.Array.newInstance(Array.java:75)
        at oracle.jdbc.driver.BufferCache.get(BufferCache.java:226)
        at oracle.jdbc.driver.PhysicalConnection.getCharBuffer(PhysicalConnection.java:7672)
        at oracle.jdbc.driver.OracleStatement.prepareAccessors(OracleStatement.java:1005)
        at oracle.jdbc.driver.T4CTTIdcb.receiveCommon(T4CTTIdcb.java:277)
        at oracle.jdbc.driver.T4CTTIdcb.receive(T4CTTIdcb.java:146)
        at oracle.jdbc.driver.T4C8Oall.readDCB(T4C8Oall.java:844)
        at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358)
        at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:192)
        at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531)
        at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193)
        at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:873)
        at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:1167)
        at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1281)
        at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1491)
        at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:406)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:443)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:430)
        at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:409)
        at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Task.startRead(CommonRdbmsReader.java:195)
        at com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader$Task.startRead(RdbmsReader.java:84)
        at com.alibaba.datax.core.taskgroup.runner.ReaderRunner.run(ReaderRunner.java:57)
        at java.lang.Thread.run(Thread.java:745)
 

cui8483
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
java.lang.OutOfMemoryError: Java heap space
07-29
NULL 博文链接：https://geyubin.iteye.com/blog/779330
java.lang.OutOfMemoryError: Java heap space 解决方法
10-18
java.lang.OutOfMemoryError: Java heap space 解决方法
常见的 OOM 异常分析
wangzhipeng47的博客
07-30 587
常见的 OOM 异常分析（硬核干货） 在《Java虚拟机规范》的规定里，除了程序计数器外，虚拟机内存的其他几个运行时区域都有发生 OutOfMemoryError 异常的可能。 本篇主要包括如下 OOM 的介绍和示例： java.lang.StackOverflowError java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError: GC overhead limit exceede.
Java技术栈 —— 如何实现一个自己的DataX插件？
最新发布
键盘国治理专家的博客
05-19 829
DataX 是阿里云 DataWorks数据集成 的开源版本（可以理解为DataWorks的阉割版），实现一个自己的DataX插件可以有助于各种异构数据源的导入导出，从业务角度与提升自己的技术视野两个方面来说，实现一款自己的DataX插件是很有必要的一件事。且json数据的文件，一个json体必须写成单独一行，不能有换行的存在，否则会读取文件末尾失败，认为这不是一个正规的json数据体，对于该项目来说，当存在多个json体时，你必须这样写才能把所有数据读入，jsonfilereader。
datax安装使用及使用过程中遇到的问题
热门推荐
世樹のブログ
12-30 1万+
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 相关概念和设计理念不再赘述，这里记录个人初次使用时的过程。 datax环境要求: Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Mave...
ERROR cluster.StandaloneSchedulerBackend: Application has been killed. Reason: Master removed app...
Ahuuua的博客
11-15 4506
初次搭建spark standalone集群，进入spark shell后报错如下： $spark-shell --master spark://b1:7077 Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLeve...
系统架构-性能篇章1（应用系统性能2：OOM&参数配置）
weixin_33898233的博客
07-15 815
2019独角兽企业重金招聘Python工程师标准>>> ...
OutOfMemoryError（内存溢出）
u014754272的博客
03-15 2660
产生的原因： 1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据。 2.集合类中有对对象的引用，使用完后未清空，使得JVM不能回收。,3, 3.代码中存在死循环或循环产生过多重复的对象实体。 4.使用的第三方软件中的BUG。 5.启动参数内存值设定的过小。 重点排查以下几点： 1.检查代码中是否有死循环或递归调用。 2.检查是否有大循环重复产生新对象实体。 3...
java.lang.OutOfMemoryError 错误整理及解决办法
09-01
Java中的`java.lang.OutOfMemoryError`是一个严重的问题，它表示Java虚拟机（JVM）在尝试分配新的对象时没有足够的内存。这个错误通常会导致应用程序崩溃。本文将深入探讨这种错误的原因、常见类型以及解决策略。 *...
java使用datax增量同步代码
04-19
Java 使用 DataX 进行增量同步是大数据领域中常见的数据迁移任务，DataX 是阿里开源的一个强大、高效的数据同步工具，它可以实现不同数据存储之间的数据迁移。本篇将详细讲解如何在 Java 项目中利用 DataX 实现增量...
java虚拟机OutOfMemoryError:Java heap space堆dump文件
07-14
java虚拟机OutOfMemoryError:Java heap space堆dump文件，可以直接用来分析。
Java通过python命令执行DataX任务
12-19
Java调用控制台python命令(含传递参数)执行DataX的job任务，mysql向odps同步数据。
java集成datax所需pom依赖包
04-09
Java集成DataX涉及到的是数据同步工具的使用，DataX是阿里巴巴开源的一款用于大数据搬移的工具，它能够高效地支持大量数据在不同数据存储之间进行迁移。在这个场景中，"java datax"标签表明我们将讨论如何在Java项目...
记DataX-datax_v202209:oceanbasev10writer版本号比较问题导致写入OceanBase3.2.3.0报错：java.lang.NumberFormatException
WistWill的博客
10-25 1763
Error:使用DataX中oceanbasev10writer插件向OceanBase3.2.3.0中写数据报错：java.lang.NumberFormatException: multiple points 源码分析、源码调试、源码问题修复、本地调试DataX
Java heap space解决方法
追逐梦想
07-02 1091
1.如果是在eclipse里面运行run,可以
java.lang.OutOfMemoryError: unable to create new native thread
空中的鱼
07-13 1134
35227 2014-05-21 13:53:18,504 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Reopen already-open Block for append blk_8901346392456488003_201326 135228 2014-05-21 13:53:18,506 ERROR org.apache.
com.alibaba.datax.common.exception.DataXException: Code:[FtpReader-14], Description:[与ftp服务器连接异常.].
大哥的叔的博客
09-02 8054
服务器ftp连接错误
五、standalone运行模式
weixin_34266504的博客
12-02 717
在上文中我们知道spark的集群主要有三种运行模式standalone、yarn、mesos，其中常被使用的是standalone和yarn，本文了解一下什么是standalone运行模式，它的运行流程是怎么样的。 简介 standalone模式，是spark自己实现的，它是一个资源调度框架。这里我们要关注这个框架的三个节点： 1）client 2）master 3）worker sp...
datax报java.lang.OutOfMemoryError: Java heap space错怎么解决
12-26
datax报java.lang.OutOfMemoryError: Java heap space错误是由于datax运行时内存不足导致的。解决这个问题的方法有两种： 1. 增加datax运行时的内存限制：可以通过修改datax的启动脚本或者命令行参数来增加datax运行时的内存限制。具体的方法是在启动datax的命令中添加`-Xmx`参数，后面跟上所需的内存大小。例如，如果要将datax的内存限制增加到2GB，可以使用以下命令： ```shell datax -Xmx2g ``` 2. 优化datax的任务配置：如果增加内存限制后仍然出现内存不足的错误，可以尝试优化datax的任务配置，减少内存的使用量。具体的方法包括： - 减少并发任务数：降低datax同时运行的任务数，以减少内存的使用量。 - 减少数据量：如果可能的话，可以减少要处理的数据量，以减少内存的使用量。 - 调整数据读写方式：根据实际情况，可以尝试使用更高效的数据读写方式，以减少内存的使用量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值