如何解决sqoop的数据传到一致性

如Sqoop在导出到Mysql时,使用4个Map任务,过程中有2个任务失败,那此时MySQL中存储了另外两个Map任务导入的数据,此时老板正好看到了这个报表数据。而开发工程师发现任务失败后,会调试问题并最终将全部数据正确的导入MySQL,那后面老板再次看报表数据,发现本次看到的数据与之前的不一致,这在生产环境是不允许的。
我们可以使用–staging-table创建临时表的方法来解决:

sqoop export
–connect jdbc:mysql://192.168.137.10:3306/user_behavior
–username root
–password 123456
–table app_cource_study_report
–columns watch_video_cnt,complete_video_cnt,dt
–fields-terminated-by “\t”
–export-dir “/user/hive/warehouse/tmp.db/app_cource_study_analysis_${day}”
*–staging-table app_cource_study_report_tmp
–clear-staging-table*

–input-null-string ‘\N’

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值