![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
开源软件
文章平均质量分 93
敏捷调度TASKCTL
一款基于B/S架构的轻量级ETL任务批量处理工具;支持各类脚本任务程序和扩展;具备可视化图形拖拽设计界面,以及可视化任务作业管理、计划调度、实时监控、消息提醒和日志分析功能;有效弥补了传统ETL工具在调度管理和监控分析方面不足;同时平台还提供原数据管理、数据质量、版本控制、日志分析等完善的辅助管理功能,为企业提供数据迁移、数据仓库、数据标准化、数据同步、数据备份、数据交换以及企业定制化二次开发在内的一体化数据整合服务。
展开
-
国内外这6款主流的ETL调度工具综合对比
介绍:ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成, 最后加载到数据仓库或数据集市中,成为联机分析处理、 数据挖掘的基础。 ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库, 数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。 所以从工程应用的角度来考虑, 按照物理数据模型的要求加载数据并对数据进行一些系列处理, 处理过程与经验直接相关, 同时这部分的工作直接关系数据仓库中数据的质量, 从而影响到联机分析原创 2020-11-27 17:00:23 · 2315 阅读 · 1 评论 -
基于开源架构的任务调度系统在证券数据处理中的探索和实践
摘要:为了应对证券行业盘后批处理业务复杂度上升带来的批处理时间窗口逐步缩小和运维越来越困难的挑战,上交所技术积极拥抱开源技术,结合上交所批处理的生产经验教训,以零人工介入、自动化运维为目标,开发了一种跨平台、支持多种部署模式的任务调度系统。本文从上交所批处理系统面临的实际挑战出发,通过调研几类典型的批处理架构,选择以开源软件Spring cloud dataflow为基础,设计并研发了上交所批处理任务调度系统。目前,该系统已经在交易系统生产环境上平稳试运行半年有余,为该系统在上交所各技术系统的推广打下了坚.原创 2020-09-17 16:22:24 · 356 阅读 · 0 评论 -
元数据是什么?举例告诉你哪种方式更适合元数据的录入
元数据,一个简单的定义是描述数据的数据。在企业中,无论哪里有数据,都有相应的元数据。只有存在完整而准确的元数据,我们才能更好地理解数据并充分利用数据的价值。为了让大家更好地了解什么是元数据,TaskCtl小编针对元数据的类型,举例说明什么是元数据。元数据分类元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息,帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据:技术元数据、业务元数据和管理元数据。这三种元数据的具体描述如下:技术元数据原创 2020-07-28 14:24:00 · 648 阅读 · 0 评论 -
ETL开源工具 taskctl 6.0 免费授权
功能完整是基本,简单易用才是王道,这就是TASKCTL对敏捷的朴素定义。功能少,怎么复杂也会简单;而功能体系完整,怎么简单也会复杂。因此,简单与复杂是相对的,而TASKCTL正是追求那种在功能完整不可避免复杂中的简单。实际上,对很多软件、APP是否简单易用,是很难评定的。一方面,因人而已;另一方面,用了才知道。不过,TASKCTL给大家阐述的不是一种感知层面的简单,而是建立在一种技术理念突破创新基础上的简单。要评估调度应用是否简单,首先就是要知道整个应用包含哪几大应用场景。作为批量调度应用,主要..原创 2020-07-14 10:59:33 · 353 阅读 · 0 评论