上篇丨数据融合平台DataPipeline的应用场景

本文介绍了DataPipeline数据融合平台在应对生产数据结构变更、数据任务与Jenkins联动、生产数据同步测试、Hive到GP同步优化、数据加密脱敏、错误队列管理和目的地手动添加字段等7个场景的应用,帮助用户更好地理解和利用DataPipeline的功能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

距离2020年还有不到一周的时间,在过去的一年里DataPipeline经历了几次产品迭代。就最新的2.6版本而言,你知道都有哪些使用场景吗?接下来将分为上下篇为大家一 一解读,希望这些场景中能出现你关心的那一款。

场景一:应对生产数据结构的频繁变更场景

1. 场景说明

 

在同步生产数据时,因为业务关系,源端经常会有删除表,增减字段情况。希望在该情况下任务可以继续同步。并且当源端增减字段时,目的地可以根据设置选择是否同源端一起增减字段。

 

2. 场景适用说明

 

源/目的地:关系型数据库

 

读取模式:不限制

 

3. 操作步骤

 

 

  • 在DataPipeline的任务设置,数据目的地设置下的高级选项下有【数据源变化设置】选项,可根据提示自行选择

  • <
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值