单脚本测试 正常 ;晚上多进程抽数 就会报错
增量抽数 会 共用 --target-dir /sqoop/conditiontest 这个文件
单进程是成功的 ;多进程的情况下 ,会出现找不到 文件 错误 ;
–target-dir /sqoop/conditiontest/{table_out} \
加上table_out 后 ,问题解决。
### 增量抽数
def def_sh_code_incre(db_host_o,db_port_o,db_user_o,db_pass_o,db_base_o,table_in,table_out):
sqoop_cmd = f"""
source /etc/profile
echo `date +%Y%m%d_%H%M`
sqoop import \
--connect jdbc:oracle:thin:@{db_host_o}:{db_port_o}/{db_base_o} \
--username {db_user_o} \
--password {db_pass_o} \
--target-dir /sqoop/conditiontest/{table_out} \
--delete-target-dir \
--query "select * from {table_in} where last_update_date >= sysdate-60 and \$CONDITIONS " \
--hive-import \
--hive-database bi_ods \
--hive-table {table_out} \
--delete-target-dir \
--hive-drop-import-delims \
--fields-terminated-by '\\001' \
--lines-terminated-by '\\n' \
--null-string '\\\\N' \
--null-non-string '\\\\N' \
--hive-overwrite \
--m 1
"""
return sqoop_cmd