「ETL趋势」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle

isNotNullX

已于 2024-07-04 09:35:33 修改

阅读量1.2k

点赞数 16

分类专栏：产品更新文章标签： etl 数据仓库产品更新

于 2024-07-02 13:50:31 首次发布

本文链接：https://blog.csdn.net/oOBubbleX/article/details/140122700

版权

产品更新专栏收录该内容

3 篇文章 0 订阅

订阅专栏

FineDataLink作为一款市场上的顶尖ETL工具，集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，进行了新的维护迭代。本文把FDL4.1.9最新功能作了介绍，方便大家对比：（产品更新详情：4.1.9最新功能快速体验）

更新功能	数据源	分区读写支持 PostgreSQL、Greenplum、Gauss200
	数据开发	定时任务支持调用Kettle、定时任务中SQL输入框支持联想显示参数
	管理系统	定时任务和管道任务支持自定义字段映射规则
新增功能	回收站	新增回收站功能

如果你还想学习更多FineDataLink应用技巧，可以点击:FineDataLink学习路径

一、数据源

1、分区读写支持 PostgreSQL、Greenplum、Gauss200

用户面对大数据量的数据存储时，经常需要使用数据库的分区表功能来提高查询性能。

在Finedatalink 4.1.9版本中：定时任务、管道任务自动建表和数据服务支持选择 PostgreSQL、Greenplum、Gauss200 的分区表作为数据来源或数据去向，其中Greenplum、Gauss200支持分布逻辑，为用户提供更多选择。

分区读写支持 PostgreSQL、Greenplum、Gauss200

💠详情：读取、创建、写入分区表

二、数据开发

1、定时任务支持调用Kettle

用户的历史Kettle任务可能分散在不同系统，难以统一管理和监控。

FineDataLink 4.1.9版本支持对 kettle 任务进行调用以及展示Kettle任务运行日志，帮助用户实现Kettle任务的统一管理。

Kettle调用

💠详情：Kettle调用

2、定时任务中SQL输入框支持联想显示参数

用户在编写SQL语句时手动输入参数易出错，且效率不高。

为了帮助用户提高开发效率，在FineDataLink 4.1.9版本中，数据开发中的：

SQL脚本、Python算子、Spark SQL算子、数据同步-API-body、API输入算子-body、DB输入算子-SQL输入框、参数赋值-DB输入SQL输入框、数据同步-DB输入SQL输入框支持自动联想参数。

SQL输入框支持联想显示参数

💠详情：SQL输入框支持联想显示参数

三、管理系统

1、定时任务和管道任务支持自定义字段映射规则

在管道任务、定时任务的同步任务配置过程中，有时会出现用户期望的字段映射关系与产品默认映射关系不符的情况。

在之前的FDL版本中，用户需要针对某个数据源下的多个任务或节点重复修改字段类型，操作非常繁琐。

为了解决这一问题，FineDataLink 4.1.9版本支持统一对多个使用同一数据连接的定时任务、管道任务自定义字段类型映射规则。

自定义字段映射规则

💠详情：通用配置-字段映射规则

四、回收站

1、新增回收站功能

用户在管理数据开发任务时，可能会误删掉重要任务，一旦删除难以恢复。

FineDataLink 4.1.9版本新增回收站功能，回收站支持对数据开发、数据管道、数据服务中已经删除的任务进行资源还原、彻底删除等。

回收站功能

💠详情：回收站

💠产品更新详情：4.1.9更新日志

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！