[ETL实战」跨库取数需复杂编程怎么办?推荐这款低代码工具

目录

解决方案

实战案例-销售系统数据处理和落库

一、跨库关联处理

二、数据列转行

三、复杂SQL处理

四、任务调度管理

在工作中,很多业务人员会使用FineReport进行数据可视化和报表开发。通常情况下,业务人员会用报表工具直接连接业务系统数据库,在报表内的sql数据集进行数据清洗和加工,或者在报表单元格内写过滤条件实现跨库数据关联。遇到从API接口读取数据的情况,就用FineReport的程序数据集进行代码开发。数据处理完毕之后,再把报表样式设计好,测试通过就可以上线使用了。

这样做非常方便快捷,给业务人员节省了很多时间,但是这种模式存在一个问题:

FineReport不支持跨数据库取数,因此在面对跨库取数的场景时,业务人员需要编写复杂的程序代码来实现,开发成本高、取数速度慢。尤其是当企业内数据开发者逐渐增加,通过sql语法来还原业务加工过程,会产生大量难理解、难运维的sql语句;如果注释再不详细,新员工面对成山的代码真的毫无头绪,数据运维非常麻烦。

解决方案

针对上述问题,FineDataLink提供了完整的解决方案:

对于数据逻辑处理,FineDataLink提供了简易的画布开发模式和丰富的可视化算子,业务人员无需再花费大量时间去编写复杂的代码,使用可视化的操作就可以完成大部分的数据处理任务;对于一些复杂的数据处理场景,FineDataLink中的Spark SQL、Python算子以及SQL、Shell、Bat脚本也为业务人员提供了灵活的使用选择。

面对接口取数的情况时,FineDataLink中的JSON解析、XML解析算子仅需使用鼠标点击的方式就可以完成数据解析。另外,如果之前的数据任务都是使用Kettle来做的,业务人员可以使用FineDataLink提供的Kettle调用功能,将历史Kettle任务集成到FineDataLink统一进行管理。

实战案例-销售系统数据处理和落库

下面我们用一个案例来说明FineDataLink与FineReport的组合应用。

销售系统数据库中存放着订单、销售明细和年度资产分类等信息。现在我们要对这些数据进行处理,并用处理好的数据进行报表展示。

数据处理要求如下:

一、跨库关联处理

销售系统数据库中存放着订单表,应用库中存放着订单明细表,现在要将这两张表,通过订单ID主键关联后落库到应用库中。

1)新建任务,使用数据转换,拖入DB表输入算子将两个表的数据分别取出。

2)新增一个「数据关联」算子,将两个数据表输入连接至「数据关联」算子,点击连接方式和连接字段进行选择,即可进行跨库关联制作新的数据表,不需要编写任何代码

跨库关联操作

3)对关联好的数据表进行字段设置,例如去掉重复字段。

4)使用DB表输出算子,将制作好的数据表并输出到应用库中即可。

二、数据列转行

销售明细表中包含了每个产品在不同省份的销售金额数据,我们希望对数据进行列转行,计算每个省份的销售总额后落入应用库中。

1)新建 ETL 任务,使用数据转换概述,拖入DB表输入将销售系统库中的「销售明细」取出。

2)使用「列转行」算子对「销售明细」数据进行转换,开发人员无需编写SQL,仅需输入字段名称,点击选择转换字段,即可将二维表地区销售数据转为一维表。

数据列转行操作

3)此时希望对已经列转行的数据继续进行处理,计算每个城市的总销售金额,可以使用「Spark SQL算子,编写 SQL 语句进行操作。

4)数据处理完成后,使用DB表输出将数据输出到应用库中即可。

三、复杂SQL处理

使用数据同步将销售系统中的「年度资产分类表」进行复杂 SQL 处理后,输出到应用库中。

1)新建 ETL 任务,添加「数据同步」,在数据来源中编写SQL 语句进行取数。

2)在数据去向与映射中,将查询好的数据输出至应用库中即可。

使用数据同步可以大大提高取数速度,缓解数据加载缓慢问题。

数据同步-复杂SQL处理

四、任务调度管理

数据处理的任务设置好后,我们希望能够定时进行数据更新,可以在FineDataLink中设计调度周期,对任务进行管理。

1)新建 ETL 任务,添加「调用任务」。

2)新增「消息通知」,设置若三个任务执行失败,则通知某个任务执行失败。

3)使用连线将三个任务与失败执行的消息通知相连,设置在任务执行失败时,执行「消息通知-失败执行」。

4)同理,设置任务执行成功时的消息通知。

5)设置任务的执行频率,完成任务调度配置。

任务调度流程

任务调度计划

更多FineDataLink与FineReport组合应用内容请前往:

FDL和FineReport组合应用示例

FineDataLink是一款低代码/高时效的数据集成平台,它不仅提供了数据清理和数据分析的功能,还能够将清理后的数据快速应用到其他应用程序中。FineDataLink的功能非常强大,可以轻松地连接多种数据源,包括数据库、文件、云存储等,而且支持大数据量。此外,FineDataLink还支持高级数据处理功能,例如数据转换、数据过滤、数据重构、数据集合等。使用FineDataLink可以显著提高团队协作效率,减少数据连接和输出的繁琐步骤,使整个数据处理流程更加高效和便捷。

  • 30
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值