国产化ETL产品必备的特性(非开源&包装)

ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行抽取、清洗(净化)、转换、装载、标准、集成(汇总)...... 最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

       如果数据转换的频率或者要求不高可以手动实现ETL的功能;反之,如果对数据转换的要求比较高的话,就需要专门的ETL工具.



  1. 功能特性
    1. 开放性

支持各种类型业务系统数据源,包括不仅限于oracle、sqlserver、access等各类国内外关系型数据库,甚至pdf、word、excel、xml、txt等类型数据文件,支持多达30+数据源同时采集提取。国产信创数据库等即刻开放接口。 

1.2 扩展性 

集成Bee脚本开发环境(自研),图形设计可转换成后台bee脚本,可个性化定制开发,满足国内特殊信息现状。满足复杂业务逻辑数据处理需求。

提取的数据结构、数据内容、数据标准、数据处理流程都是可扩展和灵活配置的。

1.3简化性

简化了用户的操作。专用ETL通常通过图形化的配置方式,简单,灵活,使得用户无需过分关心数据库的各种内部细节,而专注于其功能实现。

1.4集成性

 集成数据标准转换和数据清洗功能。可对实际系统业务中复杂数据标准和代码转换,且配置简单、方便。数据抽取、清洗工作保证了数据质量。从而做到统一接口、统一数据文件格式、统一运行和维护方法。

1.5创新性 

独有的工作流调度、内置独有的脚本解释器功能组件(bee 脚本函数)处理清洗、过滤、转换。

1.6先进性 

核心自研可控,源自2004年 非开源包装技术。

1.7易安装维护 

系统本身是绿色免安装软件,拷贝就能用。基本不需要其他系统维护工作。

2非功能特点

 2.1 工具界面 

可以通过可视化操作方式进行设计,将大大降低开发门槛,使开发人员得到补充,避免人员流动性造成的运维困难。

 2.2 可用性 

改善数据运维的方式,运维人员经过基本培训后,简单操作即可满足ETL作业上线、部署等需求。

 2.3 安全性 

用户创建的作业文件采用加密方式存储,密钥采用与机器相关的硬件信息,当作业文件拷贝到其它机器时,由于对应密钥的硬件信息 发生改变,所以作业文件是无法读取的。这样可以杜绝非法用户将作业文件复制后、通过在其它机器创建同名用户从而窃取、破坏数 据信息的行为发生。

 为了防止程序开启后的非法访问(如用户在打开作业文件后离开机器,非法用户可借此窃取、破环数据信息),程序提供界面锁定功能。界面锁定后,必须提供锁定用户的密码才可重新进入程序。

2.4 易用性

 良好的易用性,逻辑清晰便于用户理解;系统操作简单,人机交互界面友好。系统操作界面一目了然,用户能够直观的找到自己使用的功能菜单,很方便的完成所需操作。

2.5设计约束 

所构建系统的所有设计约束。设计约束代表经过批准的、必须遵从的设计决定。示例包括软件语言、软件流程管理需求、规定使用的开发工具、体系结构和设计约束、购买的组件、类库等等。

3.部署要求

3.1.平台支持:

支持主流平台Linux, Windows以及国产操作系统,不同平台间具备可移植性(包含不同平台间移植以及从相同平台开发环境到生产环境间的移植);提供独立的运行框架,不依赖特定的数据库产品。同时支持各种硬件平台,如x86,龙芯等等。

3.2.满足信创要求

工具所依赖的操作系统、数据库、中间件符合信创改造要求。主要为:统信UOS操作系统、中科方德操作系统、中标麒麟、国产化数据库(人大金仓、达梦等)。

3.3.跨平台移植和向下兼容

工具跨平台或版本升级不影响原有作业设计及使用。或能提供作业升级脚本。

详见功能组件,如下图:


灵蜂ETL产品 BeeDI 之转换界面 配置
灵蜂ETL产品 BeeDI 之转换界面 配置

灵蜂ETL产品BeeDI之 数据联邦 配置

灵蜂ETL产品 BeeDI之 工作流 配置
灵蜂ETL产品 BeeDI之 工作流 配置
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== 编辑

  • 18
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值