java sqoop 1.4.5_sqoop命令中映射器数量的增加会导致java堆空间错误

我使用sqoop 1.4.5-cdh5.2.1和oracle .

我从oracle导入一小组115k的记录 . Sqoop命令在将-num-mappers设置为5时工作正常 . 但是当我将它设置为5以上时,我得到了JAVA HEAP SPACE的错误 .

任何人都可以告诉它,为什么会发生这种情况 .

LOG 异常螺纹"main" java.lang.OutOfMemoryError:在java.math.BigInteger的Java堆空间(BigInteger.java:394)在java.math.BigDecimal.bigTenToThe(BigDecimal.java:3380)在java.math.BigDecimal中 . bigDigitLength(BigDecimal.java:3635)在java.math.BigDecimal.precision(BigDecimal.java:2189)在java.math.BigDecimal.compareMagnitude(BigDecimal.java:2585)在java.math.BigDecimal.compareTo(BigDecimal.java :2566)在org.apache.sqoop.mapreduce.db.BigDecimalSplitter.split(BigDecimalSplitter.java:138)在org.apache.sqoop.mapreduce.db.BigDecimalSplitter.split(BigDecimalSplitter.java:69)在org.apache . 位于org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:498)的org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter . )中的sqoop.mapreduce.db.DataDrivenDBInputFormat.getSplits(DataDrivenDBInputFormat.java:171) . java:515)org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:399)at org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:12 95)at org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1292)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:415 )org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)org.apache.hadoop.mapreduce.Job.submit(Job.java:1292)atg.apache.hadoop.mapreduce.Job . waitForCompletion(Job.java:1313)在org.apache.sqoop.mapreduce.ImportJobBase.doSubmitJob(ImportJobBase.java:198)在org.apache.sqoop.mapreduce.ImportJobBase.runJob(ImportJobBase.java:171)在org.apache .sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:268)在org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:721)在org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java :499)org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)org.apache.sqoop.Sqoop.run(Sqoop.java:143)org.apache.hadoop.util.ToolRunner . 在org.apache.sqo的org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)运行(ToolRunner.java:70) op.qoop.runTool(Sqoop.java:218)org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)org.apache.sqoop.Sqoop.main(Sqoop.java:236)2015-06- 25 13:48:59状态:1 2015-06-25 13:48:59错误错误(1)Sqoop失败 . 2015-06-25 13:48:59错误错误(1)run_sqoop

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值