开源Kettle &包装Kettle 深度功能缺陷

最新推荐文章于 2024-05-07 14:26:15 发布

little_bee_2004

最新推荐文章于 2024-05-07 14:26:15 发布

阅读量594

点赞数

文章标签： etl 数据仓库 big data 大数据数据挖掘

本文为博主原创文章，未经博主允许不准转载。

本文链接：https://blog.csdn.net/little_bee_2004/article/details/123010344

版权

Kettle 是业界开源ETL工具中，知名度最高且被引进各行业项目应用最早期。上线后当下如何了？“天下免费的午餐”真的香吗？以下是各用户早期上线后，深度使过其功能缺陷问题导致不能满足目前业务场景，如有以下需求，请谨慎启用开源工具。开启此类项目需慎始善终...... 后期人工写脚本、完善、弥补、更换、替代的成本远远高于初衷的“开源可节流”。避雷预看，前浪们对使用KETTLE&包装KETTLE的深度功能缺陷，总结如下：

随着数据量不断增加，KETTLE不能满足业务场景的需求
序号	功能缺陷	具体描述
1	管理调度	当前生产环境，成百上千个job需要管理，目前依赖Linux的crontab进行调度，需要自己写脚本，配置、管理相当烦碎麻烦 ETL工具BeeDI V10.0 功能组件即刻解决：作业调度、工作流调度
2	失败重跑	目前任务失败之后不能尝试自动重跑 ETL工具BeeDI V10.0 功能组件即刻解决：作业定时或工作流异常重试
3	依赖管理	当前工作场景中，需要梳理某几张表变动的影响范围，无法快速找到用到这几张变动表的任务及下游对应的表 ETL工具BeeDI V10.0 功能组件即刻解决：数据追溯
4	任务详情	数据的读取速度，处理速度，报错信息等不够直观、完整 ETL工具BeeDI V10.0 功能组件即刻解决：任务运行统计&自定义
5	hive交互	在hive建表时不可设定分区、分桶、压缩格式或其他参数的设置 ETL工具BeeDI V10.0 功能组件即刻解决：Bee脚本编辑
6	数据验证	验证数据同步不正常 ETL工具BeeDI V10.0 功能组件即刻解决：数据比对&数据分析

北京灵蜂纵横软件有限公司 ETL工具产品系列之高端即刻下载验证官网：BeeDI V10.0http://www.livbee.com

BeeDI V10.0 功能组件

作业调度：BeeDI V10.0 作业调度功能，支持任务的启动、定时优先级设置、暂停、忧复及停止等控制。作业调度 界面如：

工作流调度：BeeDI V10.0工作流调度功能，支持任务的定时循环，支持成功、失败及条件等任务控制路径，支持任务的并发处理，支持任务运行时的动态轨迹显示。工作流调度 界面如：

作业定时：BeeDI V10.0 作业调度功能，支持任务的启动、定时、优先级设置、暂停、忧复及停止等控制；作业支持定时启动，提供多种定时策略，包括日、周、月、工作日、时、分、秒等，通过对作业定时启动可实现作业的循环自动运行

工作流异常重试：BeeDI V10.0支持成功、失败、条件等三种任务控制路径，支持基于全局变量的条件路径转移；支持任务的循环运行

数据追溯： BeeDI V10.0 提供数据追溯功能，支持对集成环境涉及的任意表进行追溯，识别指定数据表从产生到最终使用途经的各个系统及对应的映射转换规则，在全局范围快速了解数据使用情况。数据追溯 界面如下：

Bee脚本编辑：BeeDI V10.0 集成bee脚本（公司自研发）开发环境支持，支持脚本编辑、运行、断点调试、变量值查看等功能。内置集成脚本,支持用户对任务的无限扩展。支持实现相当复杂的数据清洗及标准化。提供集成脚本开发环境(IDE)，采用类似C语言的语法，充分满足用户定制各种复杂ETL任务的需要。以下为Bee脚本编辑 调试界面：

数据比对：BeeDI V10.0提供任意数据库之间（Oracle、SQL Server、MySQL、Elasticsearch、Cassandra、MongoDB等）表的数据比对功能，支持异构表（不同表名，目标表字段可多于源表）、无主键表的比对，比对结果包含概要统计信息及差异数据明细对照表。以下为数据比对界面：