云表中同步外部数据源

该教程介绍了如何将外部ERP系统的商品数据定时同步到云表商品库中。首先,通过链接ERP数据库并注册为云表数据源,然后创建数据接口筛选最新数据。接着,建立一个辅助字段用于记录商品的最新录入时间,并在数据接口中利用此时间参数过滤更新。此外,创建一个辅助模板用于每日触发计划任务,通过业务公式实现增量同步。最后,配置定时任务以按需执行同步。
摘要由CSDN通过智能技术生成

下面案例场景是当有外部EPR的商品数据,每天8点需要定时同步到云表商品库中一下。注:此方法需要外部数据源中有数据修改时间或者是创建时间,通过修改日期时间字段进行过滤,每次都是只更新最新的数据到云表中,已经更新的不作重复更新,因此去优化执行速度。同时需要创建一个辅助模板:每日触发计划任务(在第4步)

1.首先我们先链接我们外部ERP的数据库,然后并且将我们需要的ERP数据库商品表注册一下到云表中,详细链接方式可以看此视频教程:云表课堂 -
 


2.注册好ERP商品库表后:1.我们去到系统管理-数据接口-列表选择-新建数据接口-选择我们刚注册的外部数据源ERP商品数据作为我们的数据源2.添加我们需要的数据列(在数据列出最好将数据更新时间设置为升序)3.在过滤条件处加多一个参数:商品录入时间,过滤条件表达式为:自定义参数.商品录入时间  <=   EPR商品数据.数据更新时间  或者 自定义参数.商品录入时间  =  常量.空
 



3.再在我们的商品信息中创建一个辅助字段为:原商品录入时间。创建个数据接口,数据列选择我们原商品录入时间,统计函数使用最晚值。这样去获取我们商品每次更新过来时间然后给到我们第2步数据接口的参数
 





4..做完以上步骤我们前期准备工作就做好了,下面我们需要创建第一个辅助模板:每日触发计划任务。需要设计一个业务公式:公式写在新增时,使用到两个数据接口,第一个是我们商品信息获取最后更新时间的,第二个是获取外部数据源ERP库的,第二个需要绑定一下第一个接口的更新日期时间,然后下面使用更新操作,用我们的主键去匹配不存在新增一条就完成了。(注:这个模板不需要创建任何数据项,用来搭配计划任务使用,写我们的业务公式)
 




5.定时任务设置,这个其实就是可以按照咱们各自想同步时间需要来设置了,详细的视频教程也可以看这个:云表课堂 -

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要实现kettle多表同步Oracle数据,可以使用Kettle工具的相关组件和功能来完成。下面是一个简单的步骤: 1. 数据源配置:首先,在kettle配置连接到Oracle数据库的数据源。通过在"数据库连接"组件输入相关的连接信息,如主机名、端口号、用户名和密码等来建立与Oracle数据库的连接。 2. 数据抽取:在Kettle使用"Table input"组件来抽取源表的数据。在该组件,选择连接到Oracle数据库的数据源,并指定要抽取的表名或查询语句。可以使用该组件的参数设置功能来进一步定义抽取数据的条件。 3. 数据转换:使用"Select values"、"Add constants"、"Replace in string"等组件来进行数据转换和处理。例如,可以将日期格式进行转换、对某些字段进行计算、添加常量字段等。这些转换步骤可以根据需要进行设置和调整。 4. 数据加载:在Kettle使用"Table output"组件来将转换后的数据加载到目标表。在该组件,选择连接到Oracle数据库的目标表以及相关的字段映射。可以使用该组件的插入方式设置来选择插入新数据或更新已有数据。 5. 任务调度:在Kettle创建一个任务调度,定义数据同步的周期和执行方式。可以设置定时触发,也可以通过外部事件触发,保证数据同步的持续性和准确性。 通过以上步骤的设置和配置,可以实现Kettle多表同步Oracle数据的功能。根据具体需求,还可以进行更复杂的数据转换和处理,来满足数据同步的要求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值