- 博客(27)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 国产Beedup & ODG同而不同
Beedup可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。Beedup是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Beedup商用 通用独立软件实现 非基于数据库技术核心实现。(ODG 免费 无服务）
2024-05-13 15:35:40
48
转载 开放式ETL产品 是 信创国产化替代“标配“（上篇）
信创国产化通俗来讲，就是在核心芯片、基础硬件、操作系统、中间件、数据服务器等领域实现信创产业的国产替代。先期虽无软件成本，后期有无下限的人员成本、时间成本、精力成本、无效成本、维护成本、人员衔接成本...... 比如繁多的FTP（文件传输）搞晕了运维人员，付出的管理成本很大。当下对于已上线的开源工具&包装开源（就算扩展可解决以上问题），最大的潜在风险是——闭源！国内ETL技术在数据仓库技术、数据集成、数据中心、数据整合平台、数据交换池、数据管理等等，发展中日趋成熟，先阶段各企业应用现状大体呈现有三大方向。
2024-03-12 01:04:14
173
转载 大数据环境数据追溯
等），数据从产生到最终的使用中间需要跨越多个系统，经历多次加工处理。随着集成需求的变化，数据加工处理环节越来越多，了解某一数据如何处理变得越来越困难。通过数据追溯，用户可以精确了解数据处理的每一环节，确保数据正确使用。内置数据追溯功能，支持对集成环境涉及的任意表进行追溯，识别指定表数据从产生到最终使用途经的各个系统及对应的集成过程，准确掌握数据在其集成生命周期中的处理情况，为数据正确使用提供有力保证。业务数据在生产库产生后，依据集成需求向其它系统传递（如CRM、DW、
2024-02-05 17:43:19
58
转载 批量文件同步方案
5 采用成熟可靠的FTP协议，可在各类平台（Windows、Linux、Unix等）部署同步环境。软件提供FTP图形配置界面，用户可轻松定义FTP同步规则（同步文件目录、同步文件类型、是否启用SSL加密等），用户也可以使用脚本方式自定义复杂的FTP同步逻辑。批量文件同步用于将本地或异地服务器指定目录下的文件定时或实时同步到异地或本地，保持目录文件内容一致。2 软件内置ZIP加密压缩算法，也可调用第三方加密压缩软件(rar、zip等)对同步文件压缩加密，确保文件不会非法读取。2 文件内容保密性。
2024-01-07 00:12:54
66
转载 多源异构数据库实时同步解决方案
当实时任务对应的作业状态频繁出现定时图标时，表明任务进入实时状态，此时源表和目标表数据一致，停止实时任务，配置运行其它表的全量同步任务（参考4.1和4.3）。将最先运行的全量同步任务的启动时间指定为日志解析点，日志解析点只需在任务初次执行时设置一次，以后任务运行将自动管理解析点。b) 在实时日志解析任务中添加已全量同步完成的表并启动任务，当源库和目标库两端对应表数据一致时，停止日志解析任务。实时任务运行后，在日志窗口输出数据库日志解析信息，包含每分钟读取的日志记录，最近解析日志时间点。
2023-12-08 17:09:44
362
转载 Kafka实时数据同步
支持实时捕获业务系统变化数据并将其发步到Kafka，也支持从Kafka订阅实时数据并写入数仓或大数据平台。支持Oracle、DB2、SQL Server、MySQL、达梦等交易数据库实时数据捕获（日志解析），支持SAP Hana、GreenPlum、ClickHouse、Hbase、Hive等分析数据库批量数据写入。
2023-10-30 17:00:43
92
转载 Oracle到DM实时数据同步实施方案
将Oracle 11g RAC生产环境数据同步到DM8分析环境，Oracle数据库大小1.5T，日增归档100G，DM数据库为新建库。初始同步表数70多张，其中10张表记录数过千万，最大表记录数上亿，后续根据需要增加其它同步表。数据同步正常延时不超过5秒。4.1 字符型非空约束在Oracle中，非空列允许存入长度为零的字符串（空串），而在DM中长度为零的字符串不允许写入非空列，由此导致部分非空列中包含空串的数据无法同步写入DM库。在BeeDI。
2023-10-08 03:16:03
104
转载 多源数据汇聚方案
1 软件提供广泛的数据接口，支持对各类主流数据库（Oracle、DB2、SQL Server、MySQL、PostgreSQL、Informix等）、外部文件（文本、XML、Excel）进行读写访问。2 软件内置丰富的数据转换功能，如类型转换、字段运算、参照转换、字符串处理、字符集转换、空值处理、日期转换、聚集运算、既定取值、字段切分、字段合并、字符集转换等，用于对汇总数据进行标准化。4 软件支持同构或异构表结构的读取比对功能，对于业务表结构的变更，软件可以自动更新目标表结构并重传所有数据。
2023-08-30 14:43:06
191
1
转载 异构数据库同步方案
全量过程开始时记录源库当前时间点，全量过程结束后，增量过程自动从该时间点开始解析日志。增量过程采用日志解析方式，从某一时间点顺序读取数据库日志中的事务操作，解析还原为目标兼容的DML或DDL，以事务为单元在目标库重做操作。为减轻生产库负载，避免在其上直接运行分析应用拖垮系统，需要将生产系统产生的业务数据实时同步到大数据分析平台。全量过程遍历源库所有表，依次在目标库创建对应表并通过SQL读写方式同步表的历史数据。项目，软件按照源库事务单元实时同步数据，适合于整库或数量较多表的实时同步。基于联机归档日志解析。
2023-07-26 00:31:47
134
1
转载 MySQL高可用双活方案
对于B地备份中心产生的业务数据，需要实时回传至A地中心数据库库，确保A地业务中心与B地备份中心数据一致。由于自增值在复制前后会发生变化，需要在每张包含自增列的表中额外增加列origin_id bigint null，该列由Beedup自动创建并对应用系统透明，仅在数据同步到目标端时记录原来的自增值。对于数据库双向复制，需要配置2个复制方向相反的任务，第一个任务用于复制业务中心变化到备份中心，第二个任务用于从备份中心复制变化到业务中心。选择工具栏[新建]按钮，弹出任务属性对话框，依次设置主库及从库连接参数。
2023-06-21 15:34:12
503
转载 MySQL 实时同步 解决方案
当实时任务对应的作业状态频繁出现定时图标时，表明任务进入实时状态，此时MySQL源表和Oracle目标表数据一致，停止实时日志解析任务，配置运行其它表的全量同步任务（参考4.1和4.3）。当全量任务结束后，编辑实时日志解析任务，增加已全量同步完成的其他表，启动实时任务（参考4.2和4.4）。在inquireLog函数参数中设置日志捕获起始点，可将最先运行的全量同步作业的启动时间指定为日志捕获起始点，日志捕获点只需在任务初次执行时设置一次，以后任务运行将自动管理日志捕获点。
2023-05-17 11:32:47
1166
转载 数据同步 模式汇总
支持全量及增量数据同步功能，可定时或实时保持目标与源端数据一致。将源表全部数据（或满足特定过滤条件的部分数据）同步到目标表，当源表数据量较大时，同步时间较长。依据同步前是否删除目标表已有数据可选择全表覆盖或差异更新方式。在同步数据前首先删除目标表已有数据（或依据过滤条件删除特定数据），然后将源表数据批量写入目标表。全表覆盖方式每次同步前需要删除目标表已有数据，会对依赖目标表的查询业务产生影响，通常用于首次数据初始化或定时同步。
2023-04-24 02:59:47
163
转载 Oracle双向同步测试方案
选择工具栏[新建文件]按钮，在[新建作业]对话框的[作业名称]输入sync_log_down，[类型]选择ETL模板，点击[确定]按钮创建中心库到分库的增量同步作业文件。选择工具栏[新建文件]按钮，在[新建作业]对话框的[作业名称]输入sync_log_up，[类型]选择ETL模板，点击[确定]按钮创建分库到中心库的增量同步作业文件。选择工具栏[新建文件]按钮，在[新建作业]对话框的[作业名称]输入sync_full，[类型]选择ETL模板，点击[确定]按钮创建作业文件。
2023-03-02 13:45:27
657
转载 ETL性能优化
任务，对相关任务指定同步载入模式、降低缓冲记录数或降低任务并行度（降低最大并发数参数、相关任务分时调度、使用互斥锁或工作流串行、扩展程序最大内存）。ETL服务器缓冲目标表记录校验值，通过哈希方式确定目标表操作方式，数据不存在执行插入，数据存在但校验值不同执行修改，目标数据冗余执行删除。各项操作（同步查询、异步查询、联邦运算、日志解析、同步载入、异步载入、批量载入、缓冲更新）与内存关系变化曲线显示，可查看最近。时任务可选择批量载入模式、增加缓冲记录数或增加任务并行度（增加最大并发数参数、工作流并行）。
2023-01-13 11:01:52
175
转载 数据库实时同步方案
采用数据库逻辑复制技术，通过实时解析主库日志还原执行的DML及DDL并按照事务单元重新在从库执行，实现主从库的数据完全一致。调度界面同时显示以下任务信息，复制到从库的DML（按照INSERT、UPDATE、DELETE分类）及DDL总记录数、增量复制的DML总字节数。功能，实时跟踪记录主表数据变化，审计信息包含变化时间戳，用户代码，操作类型等。输出，包含事务复制时间、事务对应DDL及DML（INSERT、DELETE和UPDATE）的产生时间及执行用户，DML对应的表等信息。），作为实时数据采集的入口点。
2022-12-02 00:00:41
326
转载 国产etl工具BeeDI 产品 之“数据联邦“ 经典功能组件
数据联邦（跨库合并数据） 功能组件 ，可满足对实际数据集成中不断扩展需求。由于在实际数据集成平台中将传统的物理数据集成方法于虚拟数据方法相结合，该功能组件即刻提供数据的整体可视化图形流程。企业数据中心可以直接链接多个数据源中的数据，无需实际将具体数据迁移到大数据中央就可创建即时的联邦视图。首先，由于可物理或虚拟数据集成模式，企业可以通过混合集成模式来优化器数据体系架构和IT基础架构，从而满足特殊业务和技术需求。另，结合虚拟和物理数据集成模式，先进行数据联邦，待平稳后过渡到物理数据落地。
2022-09-15 15:07:03
323
转载 几种老字号ETL工具比对
与informatica旗鼓相当。自身调度、监控客户端功能较薄弱。需要借助第三方调度工具控制作业执行时间、稳定。性差，需要定期重启软件；后期维护管理成本不可预估......有局限性，与oracle数据库耦合太深，做不到异构数据库之间。国内最早ETL工具产品商。国人核心技术，一直紧追国际专业产品。ODI(数据库自带）业界最专业ETL工具。对CPU和内存、硬盘的要求过高。业界最有名的开源ETL工具。...
2022-08-02 14:13:34
392
转载 实时 双向同步&双向复制 即 Beedup 产品
Beedup 基于数据库日志解析的实时复制软件产品，提供数据库（Oracle/SQLServer/DB2/MySQL/Gbase/PostgreSQL）异地容灾备份，异地数据同步功能。支持复制时的主库和从库双活，支持CDC（Changed Data Capture）， 满足从PC到服务器、从Windows到Linux 再到Unix环境的复制。 Beedup 部署示意图如下所示： Beedup 提交线程从...
2022-05-31 17:08:58
190
转载 ETL工具 之InformaticaPowerCenter / IBM Datastage& 国产灵蜂BeeDI 的 77项参数对比
以下为业界拥有15年～ 商用ETL工具产品介绍： ETL工具BeeDI & Informatica & Datastage 十大项和77小项关键功能参数比对 如下： &nbs...
2022-05-31 17:00:52
419
转载 ETL任务集群部署
目录 一 概述 二 配置 1 主备资源管理器配置 2 作业服务器配置 三 操作 1 登录资源管理器 2 调度执行作业 3 作业服务器故障任务迁移 4 后备RM接管 一 概述 BeeDI 提供集群部署调度功能，支持ETL任务在多台服务器上的自由迁移，BeeDI集群部署包含客户端、资源管理器、作业服务器。客户端登录资源管理器发布调度任务，资源管理器负责将任务动态加载到可用的作业服务器运行。当某一作业服务器出现故障，其上运行的任务将被加载到其它作...
2022-03-24 18:02:27
323
转载 ETL工具过时了吗？国内信息化正当时
一、「工具」定义工具原指工作时所需用的器具，后引申为达到、完成或促进某一事物的手段。工具是一个相对概念，因为其概念不是一个具体的物质，所以只要能使物质发生改变的物质，相对于那个能被它改变的物质而言就是工具。生产力有两项，一项是人，一项是工具。工具是由人创造的。——毛泽东地球上的一切工具和机器，不过是人肢体的知觉的发展而已。——爱迪生二、「ETL工具」产生ETL工具本身就是从手工代码中发展出来的，主要是用于提高DBA&开发人员的工作效率如：用户足够人力资源、时间和精力也可以自己手工建触发器.
2021-01-04 15:14:50
245
转载 开源ETL Kettle 与 老牌国产自研Beeload 核心功能对比
ETL工具 打破“传统数据整合平台” ；打破新噱头“ 数据中台”（即数据黑匣子）；数据孤岛终结者！ 建设数据中心其间有一重要且烦碎的数据治理工作即（数据清洗、数据过滤、数据转换、数据标准化......） 建数仓/数据中心 必备工具-ETL工具：业界最出名的开源Kettle 与 国产老牌自研Beeload 核心功能对比参考如下：  ...
2020-09-25 11:15:44
678
转载 洞察ETL工具技术硬核—源头C/S & B/S架构
C/S架构 B/S架构 一 概述 C/S架构：是一种典型的两层架构即客户端/服务器架构，其全称是Client/Server。C/S架构主要特点是交互性强、具有安全的存取模式、网络通信量低、响应速度快、支持功能复杂的UI界面，提供良好的用户体验。C/S架构一般基于TCP实现客户端与服务器的消息交互，需要开发者编码完成Socket的创建、消息收发、销毁管理。C/S架构的软件需要针对不同的操作系统开发不同版本的软件，软件需要独立部署安装...
2020-08-20 20:34:22
147
转载 数据库增量同步 四类模式功能对比
增量同步机制日志解析、时间戳、触发器、全表比对、 哪类最佳？数据库实时同步目前国内外技术中无非共4类数据库级增量同步机制（基于数据库辅助功能 、手工代码 飘过～） 时间戳、触发器、全表比对、日志解析（非文件日志）。每种同步机制在不同的软 、硬件、网络环境中，请选取最...
2020-07-25 14:58:12
251
转载 《华严经》三大精华名句，一定要多读！
在大乘佛教当中，有三部经书，地位及高，被尊为经中之王。这三部经书分别是：《楞严经》、《法华经》和《华严经》。华严经全称为《大方广佛华严经》，这部经书之所以重要，据说这部经是佛陀成道后，所宣说的第一部经典，其内容涵盖了全部佛法的精华，如经中之海，无所不摄。因为华严经的文字较多，所以没有像《金刚经》、《心经》等经书那样流传较广，汉译的华严经全经共有80卷，45000偈，将近150万字。这么长的经书，多数人很难有机会全部读完，不过要想了解华严经，可以通过经书上的这些精华名句，去大概认识一下华严经到底说
2020-07-08 14:25:09
8397
转载 如何把文章转载发布在csdn博客里
在参考“如何快速转载CSDN中的博客”后，由于自己不懂html以及markdown相关知识，所以花了一些时间来弄明白怎么转载博客，以下为转载CSDN博客步骤和一些知识小笔记。参考博客原址：http://blog.csdn.net/bolu1234/article/details/51867099转载CSDN博客步骤：1.CSDN博客页面右键，点击【检查】点击检查后，页面右侧出现html代码，如下图2.如果需要转载全文，则在html代码下侧点击选中article_content 即可，会...
2020-07-08 14:20:28
284
转载 ETL工具Kettle & Beeload 功能验证参数比对
用开源免费kettle （含包装开源）？还是选用商用自控？企业领导考虑利润空间、项目经理核算成本时 犹豫、纠结、困惑...... 免费开源无需付费、按项目开发后 代码企业拥有 ，可为项目挤出更多利润（诱惑啊） kettle的功能都可满足项目需求吗？ 还需投入多少人力...
2020-07-08 12:13:10
265
电脑时间增加农历,"时可通"windows时钟升级套件 1.0 3.22
2010-02-05
X3D 立体文字特效
2009-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人