SQOOP从Oracle导入数据到Hive时hang up在MapReduce作业过程

打算从Oracle一个模式中导入数据到Hive,打算导入的数据都存在视图里。

其他几个视图的导入过程都很顺利,有一个小坑是如果没有设置split-by column选项,只能用一个mapper(--num-mappers 1)。

基本语句为

sqoop import --hive-import --connect jdbc:oracle:thin:@//192.168.1.1:1521/orcl --username XXX --password XXX -m 1 --table DB.VIEW --as-textfile --hive-overwrite --create-hive-table --fields-terminated-by \\t --hive-table database.table --null-string '\\N' --null-non-string '\\N';

但是有一个任务在执行MR时候一直卡死,状态是:

 INFO [IPC Server handler 23 on 50949] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1474343967582_0462_m_000000_0 is : 0.0

INFO [IPC Server handler 26 on 50949] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1474343967582_0462_m_000000_0 is : 0.0
INFO [IPC Server handler 25 on 50949] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1474343967582_0462_m_000000_0 is : 0.0

完成一直是0.0。

后来看了下数据库,发现这个视图中有一列需要从其他表抽取数据并经过大量计算。

结果选择除了这个列以外的列进行导入,任务顺利跑完。

最后把这个视图需要大量计算的列放到Hive里去跑。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值