sqoop 多进程增量抽数报错问题解决

单脚本测试 正常 ;晚上多进程抽数 就会报错
增量抽数 会 共用 --target-dir /sqoop/conditiontest 这个文件
单进程是成功的 ;多进程的情况下 ,会出现找不到 文件 错误 ;
–target-dir /sqoop/conditiontest/{table_out} \
加上table_out 后 ,问题解决。

###  增量抽数     
def def_sh_code_incre(db_host_o,db_port_o,db_user_o,db_pass_o,db_base_o,table_in,table_out):
    sqoop_cmd = f"""
source /etc/profile 
echo `date +%Y%m%d_%H%M` 
    
sqoop import \
--connect jdbc:oracle:thin:@{db_host_o}:{db_port_o}/{db_base_o} \
--username {db_user_o} \
--password {db_pass_o} \
--target-dir /sqoop/conditiontest/{table_out} \
--delete-target-dir \
--query "select * from {table_in} where  last_update_date >= sysdate-60  and \$CONDITIONS " \
--hive-import \
--hive-database bi_ods \
--hive-table {table_out} \
--delete-target-dir \
--hive-drop-import-delims \
--fields-terminated-by '\\001' \
--lines-terminated-by '\\n' \
--null-string '\\\\N' \
--null-non-string '\\\\N' \
--hive-overwrite \
--m 1
"""
    return sqoop_cmd  
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值