华为云ROMA平台FDI如何实现更新后的数据同步

最新推荐文章于 2024-07-13 18:10:19 发布
最新推荐文章于 2024-07-13 18:10:19 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 华为数据加工服务 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snowwithrain/article/details/108094554
版权

华为云ROMA平台FDI如何实现更新后的数据同步


最近用到ROMA平台将本地数据库的数据同步到华为云dws库中。有个场景，在增量同步过程中，如果源表中有一条新建的数据，已经被同步到目标表了，但是后续这条数据有更新操作，状态值status被改变，随之updatetime也会重置为当前系统时间。这个时候，FDI定时任务再次执行时，判断到updatetime有改动，就会再次将这条数据同步到目标表里，那么目标表就会存在2条ID相同，但是状态值status不同的数据，应该算作是重复的数据了。那么我们在使用目标表前需要对数据去重处理，只保留最新状态的那条数据，这就增加了一层数据加工环节，有些多余和浪费。

偶然间我发现原来ROMA是自带更新机制的，完美解决上面说到的问题，很简单，就是将源数据表和目标表的ID字段都设置为主键，那么ROMA会自动比对2个主键值是否一致，如果一致就执行更新操作，否则就新增。亲测有效

snowwithrain
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
华为云数据融合集成平台ROMA Connect，推进企业数字化转型
qq_44636225的博客
12-29 919
高新科技突飞猛进的今天，企业不断开发新的应用以提升效率，但仍有部分旧的应用会根据业务需求继续服务。Gartner报告显示，到2025年,90%的存量应用将会继续使用，而其中的大部分得不到足够的应用现代化投资；到2025年,技术债务将在现有的基础上继续增加，并消耗每年IT预算的40%以上。由此，不难看出，企业数字化转型中面临着诸多挑战。
华为融合集成平台ROMA彩页（详版 ）.pdf
07-02
华为融合集成平台ROMA彩页（详版 ）.pdf
ROMA集成关键技术：增量数据集成
华为云官方博客
12-14 1365
本文将详解ROMA集成关键技术-增量数据集成技术。
爬虫实践（1）获取所有博客
shitou987的博客
10-23 183
1 code
【ROMA解决方案和功能架构】
数据也是生产力，保持热爱，奔赴山海！
04-23 1223
1、基于ROMA融合集成平台，实现企业应用、数据、API 、OT设备、云服务、合作伙伴应用之间的集成连接。2、ROMA主要包含四个组件：数据集成（Fast Data Integration，简称FDI）、服务集成（API Connect，简称APIC）、消息集成（Message Queue Service，简称MQS）、设备集成（LINK）。
华为ROMA平台数据集成FDI配置
snowwithrain的博客
06-03 4192
华为ROMA平台数据集成FDI配置问题记录 因为使用了华为的一套数据加工平台，需要将本地mysql数据库的数据同步到华为dayu平台做数据加工，首先将本地mysql的表数据通过ROMA平台同步到dws数据仓库。 1.在ROMA实例中编写数据集成FDI定时任务： 2.定时任务的配置： 有几个注意点： 1.第一次执行会将数据源表中create_time字段大于“时间戳初始值”的数据都同步过来，但是官方文档写的刚好和我实际执行的判断机制相反。 2.然后定时任务第二次执行就只会同步增量数据了，判断增量的数据规则
数据库连接的五种方式讲解
热门推荐
qq_44899155的博客
08-27 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 JDBC第一弹：获取数据库连接的5种方式 第一种 // Driver driver = new com.mysql.jdbc.Driver(); //提供要连接的数据库 String url = "jdbc:mysql://localhost:3306/test"; //将用户名和密码封装在Properties中 Properties info = new Properties(); //设置连接的用户名和密码 info.se
华为企业集成平台ROMA
06-19
华为企业集成平台ROMA产品介绍，适用于智慧园区集成、工业互联网集成、集团企业集成；功能分为LINK、MQS、FDI、API Connect，对于企业的信息化建设非常有用！
华为云AppCube低代码编程技术考试试题.docx
04-07
华为云AppCube是一款低代码编程平台，旨在帮助开发者快速构建企业级应用，尤其适合有一定开发能力的学员学习和使用。通过这次“华为云AppCube低代码编程技术考试”，我们可以了解到AppCube的关键特性和操作方式。 1...
2022物联网平台调研(氦氪、指令集、IOTOS、华为ROMA、jetLinks、AIRIOT)
07-12
在这些平台中，开发者可以使用 Python、Java、C++、C#、JavaScript 等语言来开发应用程序，并且可以使用 JSONJavaScript 等数据交换格式来实现数据交换。同时，他们也提供了低代码配置和安装包，方便开发者快速部署...
基于ROMA的中海建筑物联网平台实践.pdf
09-23
2. ROMA平台技术架构：ROMA平台采用了华为云基础服务、物联网接入、视频VMS、数据中台、EI 数据湖、空间管理、位置服务等多种技术，实现了智能化的建筑物联网平台。ROMA平台整合了多种业务应用，包括视频监控系统、...
set user & password for database 设置数据库 用户和密码
DavidsonGong的博客
07-12 142
USE sbms;
7.10飞书一面面经
东篱君的博客
07-10 1184
B+树的⾮叶⼦节点不存放实际的记录数据，仅存放索引，所以数据量相同的情况下，相⽐存储即存索引⼜存记录的 B 树，B+树的⾮叶⼦节点可以存放更多的索引，因此 B+ 树可以⽐ B 树更「矮胖」，查询底层节点的磁盘 I/O次数会更少。主从复制：单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，可以搭建主从集群，实现读写分离。B+ 树有⼤量的冗余节点（所有⾮叶⼦节点都是冗余索引），这些冗余索引让 B+ 树在插⼊、删除的效率都更⾼，⽐如删除根节点的时候，不会像 B 树那样会发⽣复杂的树的变化；
Redis集群和高可用
最新发布
xiaogengtongxu的博客
07-13 403
主从架构无法实现master和slave角色的自动切换，即当master出现redis服务异常、主机断电、磁盘损坏等问题导致master无法使用，而redis主从复制无法实现自动的故障转移(将slave 自动提升为新master)，需要手动修改环境配置,才能切换到slave redis服务器，另外当单台Redis服务器性能无法满足业务写入需求的时候,也无法横向扩展Redis服务的并行写入性能。master和slave角色的无缝切换，让业务无感知从而不影响业务使用。
mysql笔记1
m0_62975692的博客
07-11 360
首先查看systemctl status mysqld，如果是关闭的可以进入的配置文件打开mysql，我的mysql配置文件就是在/usr/local/mysql/support-filess/下，在此目录下执行./mysql.server start,打开mysql服务，也可以通过systmectl start mysqld，如果你嫌麻烦的话可以systemctl enable mysqld 一直打开mysql的服务;重新给字段添加约束的时候不可以添加not null约束的！
MySQL空间索引
你的指尖有改变世界的力量
07-10 271
空间类型是建立在空间类型字段上的。
Redis数据结构-String篇
时间如瑾 代码如诗
07-12 889
对⼀个内部表示成long型的string执行append, setbit, getrange这些命令，针对的仍然是string的值（即⼗进制表示的字符串），而不是针对内部表⽰的long型进⾏操作。因此，在这些命令的实现中，会把long型先转成字符串再进行相应的操作。String 的内部存储结构⼀般是 sds（Simple Dynamic String，可以动态扩展内存），但是如果⼀个String 类型的 value 的值是数字，那么 Redis 内部会把它转成 long 类型来存储，从⽽减少内存的使用。
华为云roma数据源配置达梦
08-05
您好！要在华为云ROMA平台中配置达梦数据库作为数据源，您可以按照以下...配置完成后，您就可以在华为云ROMA平台中使用达梦数据库作为数据源进行应用开发和管理了。希望对您有所帮助！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值