![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据同步
qiubaifeng
这个作者很懒,什么都没留下…
展开
-
分批次同步数据
背景:需要将9亿保单数据同步到hive中,但由于oracle并发限制,一晚上每天只能2亿左右; 解决方法:1. 首先有一个增量同步程序,通过update_date同步每天的增量数据 2.初始化历史数据,通过显示update_date的时间范围,将每个月的数据量作为一个批次同步;每晚可以同步很多个批次(设置时间检查:白天时间段禁止同步) ...原创 2019-03-13 15:41:35 · 647 阅读 · 0 评论 -
oracle-hive同步-merge/delete
通常在hive中进行数据处理,处理好的数据再推送到oracle中使用,需要保持两边数据一致,再推送的时候最好的方式是sqoop的merge形式全量推送,但这样消耗的资源、时间很长,可以只推送新增、更新、删除的数据给oracle,之后再再oracle中对目标表再单独的执行一段merge程序进行更新,筛选出这些数据的sql可参考下面这样的示例: 其中:from 使用多模式插入 tel_...原创 2019-04-05 15:08:59 · 537 阅读 · 0 评论