- 博客(26)
- 收藏
- 关注
RSS订阅转载 ETL工具（kettle) 与 ETL产品(Beeload&BeeDI) 差之毫厘，谬以千里
时下大家说得最多的名词是过去的数据整合平台、数据转换平台、数据交换池，到数据仓库、数据集成、数据中心，再到当下新名称数据中台、数据治理、数据融合等等，这些概念里统统都涵盖有ETL技术，都已经是E-T-L技术的一个大大的分母了。ETL（orELT）的流程可以用任何的编程语言去开发完成，由于ETL是极为复杂的过程，而手写程序不易管理，有愈来愈多的企业采用工具协助ETL的开发，针对某固有行业需求用或写存储或写SQL实现，也可称之为ETL工具。只要能使物质发生改变的物质，相对于那个能被它改变的物质而言就是工具。
2024-05-31 17:14:14
64
转载 Oracle到DM实时数据同步实施方案
4.1 字符型非空约束在Oracle中，非空列允许存入长度为零的字符串（空串），而在DM中长度为零的字符串不允许写入非空列，由此导致部分非空列中包含空串的数据无法同步写入DM库。在BeeDI中调整对应表的数据流映射，通过decode函数判定对应列输入数据是否为空串，是空串则输出一个预定义的默认值，否则原样输出数据。4.2 字符型唯一索引尾部空格在Oracle中进行数据唯一性检查时，将对字符型唯一索引字段值的全部内容进行比较，而在DM中将去除字符型唯一索引字段值的尾部空格进行比较，由此导致同样的重复数据。
2024-03-15 17:13:16
64
转载 开放式ETL产品 是 信创国产化替代“标配“（上篇）
信创国产化通俗来讲，就是在核心芯片、基础硬件、操作系统、中间件、数据服务器等领域实现信创产业的国产替代。先期虽无软件成本，后期有无下限的人员成本、时间成本、精力成本、无效成本、维护成本、人员衔接成本...... 比如繁多的FTP（文件传输）搞晕了运维人员，付出的管理成本很大。当下对于已上线的开源工具&包装开源（就算扩展可解决以上问题），最大的潜在风险是——闭源！国内ETL技术在数据仓库技术、数据集成、数据中心、数据整合平台、数据交换池、数据管理等等，发展中日趋成熟，先阶段各企业应用现状大体呈现有三大方向。
2023-12-08 16:14:12
146
转载 论：ETL工具与手工写脚本之比较
ETL工具非常容易，这点上是用工具的最给力的优势。需要重又开发写程序，随着数据信息的日积月累，每日数据的递增，更新。受国人传统思想，人工编码最为省时省力，导致信息化程度只是停留在数据、口号中，未曾把沉睡的历史数据跑起来，实现最大价值化，才是大数据信息时代下的价值最大化。ETL工具比较灵活，需要在此平台上设置规则定义，前期是需要工具先前必须已有支持功能，如果需要扩展，要ETL工具源厂商开发。总之不管是用工具还是自己写脚本，要全盘考虑，根据各自项目大小，人工成本，愿意付出哪部分，适合的才是最佳滴！
2023-10-31 08:07:23
98
转载 开放式ETL产品 是 信创国产化替代“标配“（上篇）
信创国产化通俗来讲，就是在核心芯片、基础硬件、操作系统、中间件、数据服务器等领域实现信创产业的国产替代。先期虽无软件成本，后期有无下限的人员成本、时间成本、精力成本、无效成本、维护成本、人员衔接成本...... 比如繁多的FTP（文件传输）搞晕了运维人员，付出的管理成本很大。当下对于已上线的开源工具&包装开源（就算扩展可解决以上问题），最大的潜在风险是——闭源！国内ETL技术在数据仓库技术、数据集成、数据中心、数据整合平台、数据交换池、数据管理等等，发展中日趋成熟，先阶段各企业应用现状大体呈现有三大方向。
2023-10-08 09:17:41
145
转载 SQL Server数据库同步方式总结 VS Beedup
发布订阅，读取发布服务器日志，将解析还原后的增量数据变化复制到订阅服务器。变化数据捕获，读取事务日志并将解析还原的数据变化存入CDC表。主库启用CDC，第三方软件定时从CDC表复制数据到从表。事务镜像，主库执行的事务以同步或异步方式在从库执行。记录数据变化轨迹，变化时间戳、用户代码、操作类型等。日志备份还原，定时将主库日志文件在从库还原。记录数据变化轨迹，变化时间戳、操作类型等。定时将主库备份的日志文件复制到从库后还原。日志还原时从库不可读，非还原时从库可读。需要主库开启发布模块，从库开启订阅模块。
2023-08-30 10:25:41
286
1
转载 国产ETL工具 BeeDI 产品“实时同步“之 高阶 功能组件
该功能组件具有充分事务能力，支持基于数据源和用户定义的提交以及基于约束的目标确定，可确保数据按预期方式传递。该选项可提供强大的回滚和恢复/重新启动功能，避免解析，部分完成的，处理时出现重复的记录，从而维护总体数据的完整性。此外，改功能可捕获与实时数据相关的元数据，并将实时操作数据与存储在企业数据仓库中的历史信息集成起来。接收到实时数据后，立即进行处理，然后传递数据的能力，加快了决策过程以及数据在整个企业中的传递。实时转换和处理运营数据的功能，从而可以帮助企业将实时营运数据与存储在企业。
2023-07-26 06:48:29
266
1
转载 慎选 ETL工具（informatica？beeload? kettle?)
重要的是，研究开源kettle 无服务支持，遇到棘手的问题无人问津，束手无策。80%～90%项目时间在将不同来源的业务系统中的数据传输到同一个地方进行整理的过程中存在实施成本问题（规则定义、清洗、字典转换、传输、安全、性能......) 一旦数据进入企业数据网络信息中心仓库后，其分析、挖掘和可视化的问题都有解决方案，而在如何快速 精准处理这些业务数据上却鲜有解决之道。要做到这些终极决策需求，需要及时、精准、海量数据中获取，既不能直接在业务层抽取数据（影响业务性能、数据存在"脏数据"......)。
2023-06-19 17:05:20
217
转载 实时 双向同步&双向复制 即 Beedup 产品
提供数据库（Oracle/SQLServer/DB2/MySQL/Gbase/PostgreSQL）异地容灾备份，异地数据同步功能。支持复制时的主库和从库双活，支持CDC（Changed Data Capture）， 满足从PC到服务器、从Windows到Linux 再到Unix环境的复制。提交线程从提交缓冲区读取记录并转换为DML或DDL在从库执行，当对应一个事务的所有DML或DDL全部执行完毕，向从库发送提交命令并存储事务提交点。用于双业务中心异地互备，两个数据库同时接受业务请求。
2023-04-25 17:07:17
110
转载 ETL工具 之InformaticaPowerCenter / IBM Datastage& 国产灵蜂BeeDI 的 77项参数对比大全
以下为业界高端拥有15年～ 商用ETL工具产品介绍： ETL工具BeeDI & Informatica & Datastage 十大项，77小项关键功能参数比对 如下： &nbs...
2022-05-31 15:02:39
220
转载 ETL任务集群部署
目录 一 概述 二 配置 1 主备资源管理器配置 2 作业服务器配置 三 操作 1 登录资源管理器 2 调度执行作业 3 作业服务器故障任务迁移 4 后备RM接管 一 概述 BeeDI 提供集群部署调度功能，支持ETL任务在多台服务器上的自由迁移，BeeDI集群部署包含客户端、资源管理器、作业服务器。客户端登录资源管理器发布调度任务，资源管理器负责将任务动态加载到可用的作业服务器运行。当某一作业服务器出现故障，其上运行的任务将被加载到其它作...
2022-03-24 06:29:20
249
转载 灵蜂BeeDI ETL
大数据时代的集成利器 ETL工具 https://blog.csdn.net/little_bee_2004/article/details/80006047 在信息时代大数据环境下，基于分布式的开源Hadoop架构日渐流行。在为大数据存储和处理提供便利的同时，它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。 为此，国产数据集成软件厂商北京灵蜂软件有限公司日前宣...
2021-09-06 18:15:49
180
转载 开源Kettle 瓶颈—灵蜂ETL产品 BeeDI 解决
开源Kettle 瓶颈—灵蜂ETL产品 BeeDI 解决 在实际业务中，在直接使用开源Kettle 和包装开源Kettle功能 遇见硬核功能瓶颈，灵蜂ETL产品 BeeDI 来解决！详见下表： 序号 技术 参数 BeeDI Kettle 1 整库迁移或批量表 导出 批量自动映射源表结构到目标库。 手工逐一定义MAP完成表映射。 2 时间戳 同步 要求源表包含时间戳字段,每次同步时,根据上次记录的断点读取未同步的数据,同步结束后记录断点。
2021-07-01 07:08:09
207
转载 ETL工具精髓功能 实时数据同步
无 实时数据同步 功能的ETL工具，为准ETL工具（如开源Kettle无此功能，开发人员需额外写代码） IT机构、开发团队以及开发人员使用实时数据同步组件实现： 通过对各种实时数据源进行双向集成同步，推动零延迟实时数据的业务流程通过实时传递企业需数据的信息加快决策过程通过支持基于数据源和用户定义的提交以及基于规则定义，确保实时数据的完成整性 一、作用 提供“实时”的企业数据集成 在...
2021-03-23 09:05:28
411
转载 几种老字号ETL工具比对
常见的几种ETL工具清单 序号国籍名称价格区间点评下载地址1美国 ODI ( 数据库自带） 数据库厂商提供 有局限性，与 oracle 数据库耦合太深，做不到异构数据库之间 (C/S架构） www.oracle.com/technetwork/cn/testconte...
2020-10-29 11:37:44
102
转载 ETL任务调度—ETL工具的灵魂功能
前有实施上线ETL（设计ETL任务），后有ETL的N个任务的高效管理，对N 个 ETL模块化管理即运维是整个项目投入人力、时间、精力 刚刚启动，不可控成本随之而来......上线ETL项目及用户感同身受，只有经历过才有发言权。所以ETL任务调度是ETL工具灵魂...... 概念：ETL任务 \ ETL任务调度 ETL任务——用于定义数据的抽取，转换及...
2020-09-24 09:30:04
976
转载 ETL数据清洗工具总结
【国外】1. datastage点评：最专业的ETL工具，价格不菲，使用难度一般下载地址：ftp://ftp.seu.edu.cn/Pub/Develop… taStage.v7.5.1A-iSOBT种子下载：http://pan.baidu.com/share/link?shareid=172289&uk=67437475－－－－－－－－－－－－－－－－－－－－－－－－－－－...
2020-08-19 15:09:51
343
转载 数据库增量同步 四类模式功能对比
增量同步机制日志解析、时间戳、触发器、全表比对、 哪类最佳？数据库实时同步目前国内外技术中无非共4类数据库级增量同步机制（基于数据库辅助功能 、手工代码 飘过～） 时间戳、触发器、全表比对、日志解析（非文件日志）。每种同步机制在不同的软 、硬件、网络环境中，请选取最...
2020-07-25 15:00:01
576
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人