sunshine_hope的博客

4.1 字符型非空约束在Oracle中，非空列允许存入长度为零的字符串（空串），而在DM中长度为零的字符串不允许写入非空列，由此导致部分非空列中包含空串的数据无法同步写入DM库。在BeeDI中调整对应表的数据流映射，通过decode函数判定对应列输入数据是否为空串，是空串则输出一个预定义的默认值，否则原样输出数据。4.2 字符型唯一索引尾部空格在Oracle中进行数据唯一性检查时，将对字符型唯一索引字段值的全部内容进行比较，而在DM中将去除字符型唯一索引字段值的尾部空格进行比较，由此导致同样的重复数据。

通过增量复制功能实时复制主库变化到从库，捕获线程从上次存储的事务提交点位置顺序读取主库日志记录并将日志记录翻译为软件内部数据格式，判定读取的日志记录是否提交，如果已被提交，继续判断日志记录是否满足捕获条件（是否是特定用户产生的增量数据，是否是特定模式下特定表的记录），如满足条件，则缓冲该记录，否则丢弃该记录，然后读取下一条日志记录；提交线程从提交缓冲区读取记录并转换为DML 或DDL 在从库执行，当对应一个事务的所有DML 或DDL 全部执行完毕，向从库发送提交命令并存储事务提交点。

全量过程开始时记录源库当前时间点，全量过程结束后，增量过程自动从该时间点开始解析日志。增量过程采用日志解析方式，从某一时间点顺序读取数据库日志中的事务操作，解析还原为目标兼容的DML或DDL，以事务为单元在目标库重做操作。为减轻生产库负载，避免在其上直接运行分析应用拖垮系统，需要将生产系统产生的业务数据实时同步到大数据分析平台。全量过程遍历源库所有表，依次在目标库创建对应表并通过SQL读写方式同步表的历史数据。项目，软件按照源库事务单元实时同步数据，适合于整库或数量较多表的实时同步。基于联机归档日志解析。

信创国产化通俗来讲，就是在核心芯片、基础硬件、操作系统、中间件、数据服务器等领域实现信创产业的国产替代。先期虽无软件成本，后期有无下限的人员成本、时间成本、精力成本、无效成本、维护成本、人员衔接成本...... 比如繁多的FTP（文件传输）搞晕了运维人员，付出的管理成本很大。当下对于已上线的开源工具&包装开源（就算扩展可解决以上问题），最大的潜在风险是——闭源！国内ETL技术在数据仓库技术、数据集成、数据中心、数据整合平台、数据交换池、数据管理等等，发展中日趋成熟，先阶段各企业应用现状大体呈现有三大方向。

​编辑。

客户不需要技术有多厉害，快速精准解决问题就行，往往产品选型时，经常沦陷拼性能，列功能，强升级的场景，忽视本质的需求。在设计数据交换平台的功能之初，任何个需求要进行确认，投入的精力很大，不全面考虑，死磕到底，最后企业终究自己买单，一个小功能的缺失就可能导致ETL的效率的大幅降低，甚至推倒重来，留给运维团队的也将是无尽的痛苦。ETL作为搞大数据核心的技术平台，在建设或选择的时候，要考虑的东西非常杂多，以为搞了云化就好了，岂不知仅仅解决了ETL中冰山一角，不忽悠且理解真正想要什么很难。

Beedup可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。Beedup是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Beedup商用 通用独立软件实现 非基于数据库技术核心实现。(ODG 免费 无服务）

前有实施上线ETL（设计ETL任务），后有ETL的N个任务的高效管理，对N 个 ETL模块化管理即运维是整个项目投入人力、时间、精力 刚刚启动，不可控成本随之而来......上线ETL项目及用户感同身受，只有经历过才有发言权。内置定时调度与工作流调度功能，提供简单直观的图形操作界面，满足各种不同规模的数据集成场景，软件除具备上述工作流调度基本功能外，依据。过程需要变更时，仅需重新配置相关子任务或子任务间时序关系，无需对整个过程进行调整，简化了。任务——用于定义数据的抽取，转换及装载规则。

实时同步、部分同步断点续传。

2. ODI使用ELT方式在数据整合过程中，它自己本身不执行数据整合的处理，所有的执行都是在 现有的信息系统或者数据库中完成，不能出库。ODI本身并没有针对非结构化和半结构化数据转换为结构化或XML格式的功能, 只能通过编写Java程序，将Excel，PDF，Word转换为txt文档。如果数据量非常大，一旦遇到输出为文件，异构数据库间的数据整合，那么，ODI的性能就会受到影响。产品化的工具通常会提供丰富的，最优性能的内置功能，尽可能少的减少额外程序的编写。对产品工具必备刚性需求，工具价值本该在此。

提供数据库（Oracle/SQLServer/DB2/MySQL/Gbase/PostgreSQL）异地容灾备份，异地数据同步功能。支持复制时的主库和从库双活，支持CDC（Changed Data Capture）， 满足从PC到服务器、从Windows到Linux 再到Unix环境的复制。提交线程从提交缓冲区读取记录并转换为DML或DDL在从库执行，当对应一个事务的所有DML或DDL全部执行完毕，向从库发送提交命令并存储事务提交点。用于双业务中心异地互备，两个数据库同时接受业务请求。

Beedup采用JDBC连接主库及从库，软件配置十分简单，默认指定主库及从库的连接参数即可。Beedup提供数据库审计功能，实时跟踪记录主表数据变化，审计信息包含变化时间戳，用户代码，操作类型等。审计信息既可细粒度观察主库数据变化轨迹，实现数据操作回溯，也可用于CDC（变化数据捕获），作为实时数据采集的入口点。Beedup提供详细的运行日志输出，包含事务复制时间、事务对应DDL及DML（INSERT、DELETE和UPDATE）的产生时间及执行用户，DML对应的表等信息。

（核心非包装开源kettle\非数据库辅助功能）为企业解决可能出现的有关相关性、性能、瓶颈、战略和其他种种数据问题。到目前已拥有广泛的客户关系网络，客户范围涵盖政府、军队、金融、电信、税务、电力、水利和教育等行业，目前Beeload版本为V8.0（标准版\企业版）目前旗下拥有两款自研核心技术 国产ETL工具 产品Beeload(轻量级)/BeeDI（高端），数据库实时复制 工具 Beedup 产品。(2) 高端ETL---BeeDI诞生于2010年5月，目前版本为V10.0（标准版\企业版\集群版）。

B/S模式使用成熟的WEB服务器（如Tomcat）与浏览器实现Socket消息交互，浏览器通过解释执行WEB服务器生成的网页脚本控制UI界面显示，软件运算功能主要集中于服务器端，浏览器主要用于结果展示以及接收用户输入。对于实现复杂的应用功能有较大的困难。C/S架构主要特点是交互性强、具有安全的存取模式、网络通信量低、响应速度快、支持功能复杂的UI界面，提供良好的用户体验。C/S架构的软件需要针对不同的操作系统开发不同版本的软件，软件需要独立部署安装，需要较高的开发维护及分发安装升级成本。...

无 实时数据同步 功能的ETL工具，为准ETL工具（如开源Kettle无此功能，开发人员需额外写代码）提供“实时”的企业数据集成在建数据仓库、大数据中心（数据中台）实现数据实时处理和传递运营数据的价值时……先期必须进行数据汇总、数据抽取、数据分发、数据清洗、数据过滤、数据转换、数据共享…… 都面临从各复杂业务数据库中“实时”数据集成的首要解决方案——从更广泛的方面（而不只是数据仓库、数据中台）实现数据的实时转换和处理运营数据的功能，从而帮助企业实时运营数据与存储在企业数据仓库中的历史信息集成起来，以推动业务

目录 一 概述 二 配置 1 主备资源管理器配置 2 作业服务器配置 三 操作 1 登录资源管理器 2 调度执行作业 ​3 作业服务器故障任务迁移 4 后备RM接管 一 概述 BeeDI 提供集群部署调度功能，支持ETL任务在多台服务器上的自由迁移，BeeDI集群部署包含客户端、资源管理器、作业服务器。客户端登录资源管理器发布调度任务，资源管理器负责将任务动态加载到可用的作业服务器运行。当某...

  大数据时代的集成利器 ETL工具 https://blog.csdn.net/little_bee_2004/article/details/80006047 在信息时代大数据环境下，基于分布式的开源Hadoop架构日渐流行。在为大数据存储和处理提供便利的同时，它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。   为此，国产数据集成软件厂商北京灵蜂软件有限公司日前宣...

在实际业务中，在直接使用开源Kettle 和包装开源Kettle功能 遇见硬核功能瓶颈，灵蜂ETL产品 BeeDI 来解决！详见下表： 序号 技术 参数 BeeDI Kettle 1 整库迁移或批量表 导出 批量自动映射源表结构到目标库。 手工逐一定义MAP完成表映射。 2 时间戳 同步 要求源表包含时间戳字段,每次同步时,根据上次记录的断点读取未同步的数据,同步结束后记录断点。所有逻...

  大数据时代的集成利器 ETL工具 https://blog.csdn.net/little_bee_2004/article/details/80006047 在信息时代大数据环境下，基于分布式的开源Hadoop架构日渐流行。在为大数据存储和处理提供便利的同时，它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。   为此，国产数据集成软件厂商北京灵蜂软件有限公司日前宣布，推出最新版本的企业级数据集成软件BeeDI，并添...

无 实时数据同步 功能的ETL工具，为准ETL工具（如开源Kettle无此功能，开发人员需额外写代码）IT机构、开发团队以及开发人员使用实时数据同步组件实现：通过对各种实时数据源进行双向集成同步，推动零延迟实时数据的业务流程通过实时传递企业需数据的信息加快决策过程通过支持基于数据源和用户定义的提交以及基于规则定义，确保实时数据的完成整性一、作用提供“实时”的企业数据集成在建数据仓库、大数据中心（数据中台）实现数据实时处理和传递运营数据的价值时……先期必须进行数据汇总、数据抽取、数据分