华为数据加工服务
snowwithrain
https://blog.csdn.net/qq_25221835/article/details/82762416
ROW_NUMBER() OVER()排序的用法
展开
-
华为云ROMA平台FDI如何实现更新后的数据同步
华为云ROMA平台FDI如何实现更新后的数据同步最近用到ROMA平台将本地数据库的数据同步到华为云dws库中。有个场景,在增量同步过程中,如果源表中有一条新建的数据,已经被同步到目标表了,但是后续这条数据有更新操作,状态值status被改变,随之updatetime也会重置为当前系统时间。这个时候,FDI定时任务再次执行时,判断到updatetime有改动,就会再次将这条数据同步到目标表里,那么目标表就会存在2条ID相同,但是状态值status不同的数据,应该算作是重复的数据了。那么我们在使用目标表前需要原创 2020-08-19 10:35:12 · 1293 阅读 · 0 评论 -
华为ROMA平台数据集成FDI配置
华为ROMA平台数据集成FDI配置问题记录因为使用了华为的一套数据加工平台,需要将本地mysql数据库的数据同步到华为dayu平台做数据加工,首先将本地mysql的表数据通过ROMA平台同步到dws数据仓库。1.在ROMA实例中编写数据集成FDI定时任务:2.定时任务的配置:有几个注意点:1.第一次执行会将数据源表中create_time字段大于“时间戳初始值”的数据都同步过来,但是官方文档写的刚好和我实际执行的判断机制相反。2.然后定时任务第二次执行就只会同步增量数据了,判断增量的数据规则原创 2020-06-03 18:52:04 · 4192 阅读 · 0 评论