![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sqoop
The Great Ant
做一个功成名就的人
展开
-
生产环境下Sqoop配置文件
sqoop生产环境配置原创 2022-10-19 17:19:34 · 160 阅读 · 0 评论 -
2021-05-28
Sqoop数据导出的时候一次执行多长时间每天晚上00:10开始执行,Sqoop任务一般情况20-30分钟的都有。取决于数据量(11:11,6:18等活动在1个小时左右)。原创 2021-05-28 21:55:36 · 30 阅读 · 0 评论 -
2021-05-28
Sqoop一天导入多少数据100万日活=》10万订单,1人10条,每天1g左右业务数据Sqoop每天将1G的数据量导入到数仓。原创 2021-05-28 21:53:52 · 43 阅读 · 0 评论 -
2021-05-27
Sqoop底层运行的任务是什么只有Map阶段,没有Reduce阶段的任务。默认是4个MapTask。原创 2021-05-27 22:38:52 · 35 阅读 · 0 评论 -
2021-05-27
Sqoop数据导出一致性问题场景1:如Sqoop在导出到Mysql时,使用4个Map任务,过程中有2个任务失败,那此时MySQL中存储了另外两个Map任务导入的数据,此时老板正好看到了这个报表数据。而开发工程师发现任务失败后,会调试问题并最终将全部数据正确的导入MySQL,那后面老板再次看报表数据,发现本次看到的数据与之前的不一致,这在生产环境是不允许的。官网:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.htmlSince Sqoop break原创 2021-05-27 22:37:57 · 56 阅读 · 0 评论