- 博客(20)
- 收藏
- 关注
RSS订阅转载 开放式ETL产品 是 信创国产化替代“标配“（下篇）
信创国产化通俗来讲，就是在核心芯片、基础硬件、操作系统、中间件、数据服务器等领域实现信创产业的国产替代。ETL技术 属于基础软件类中间件技术。发展自己研制的安全可靠的能够保证国家信息安全的设备，随着信息安全问题日益突出，信息安全已上升至国家战略。自主可控，国产化替代已成为历史趋势。随着外部环境日益复杂的大背景下，信创国产化与自主可控无疑成为未来三到五年的发展重心，国产化率提升需求旺盛。
2024-03-15 17:54:40
65
1
转载 ETL工具 之InformaticaPowerCenter / IBM Datastage& 国产灵蜂BeeDI 的 77项参数对比大全!
ETL工具 之InformaticaPowerCenter / IBM Datastage& 国产灵蜂BeeDI 的 77项参数对比
2024-02-08 18:21:00
110
转载 ETL集群部署
BeeDI提供集群部署调度功能，支持ETL任务在多台服务器上的自由迁移，BeeDI集群部署包含客户端、资源管理器、作业服务器。客户端登录资源管理器发布调度任务，资源管理器负责将任务动态加载到可用的作业服务器运行。当某一作业服务器出现故障，其上运行的任务将被加载到其它作业服务器上继续运行。BeeDI集群组件交互图如下所示：BeeDI分布式运行ETL任务在定时或手工启动时资源管理器根据负载情况将其分配到负载较小的作业服务器运行。服务器故障后任务自动迁移。
2024-01-12 21:56:11
112
1
转载 Oracle双向同步测试方案
多地分公司数据实时同步到集团中心数据库中，然后在集团中心库对指定数据进行修改，修改后的数据可以实时推回到对应分公司数据库中。
2023-12-11 17:01:23
131
1
转载 Oracle到DM实时数据同步实施方案
在Oracle中，非空列允许存入长度为零的字符串（空串），而在DM中长度为零的字符串不允许写入非空列，由此导致部分非空列中包含空串的数据无法同步写入DM库。调整对应表的数据流映射，通过decode函数判定对应列输入数据是否为空串，是空串则输出一个预定义的默认值，否则原样输出数据。数据同步涉及已有历史数据一次性同步和新增数据实时同步两项内容。
2023-11-01 19:00:52
131
1
转载 Kafka实时数据同步
支持实时捕获业务系统变化数据并将其发步到Kafka，也支持从Kafka订阅实时数据并写入数仓或大数据平台。捕获Oracle数据到Kafka
2023-10-09 18:51:14
127
1
转载 异构数据库同步方案
为减轻生产库负载，避免在其上直接运行分析应用拖垮系统，需要将生产系统产生的业务数据实时同步到大数据分析平台。凭借异构数据处理能力，用于双活容灾外，也可应用于数据同步、数据迁移及数据汇聚项目，软件按照源库事务单元实时同步数据，适合于整库或数量较多表的实时同步。
2023-08-31 18:17:03
177
1
转载 多源数据汇聚（数据上报、数据集中）
数据上报、数据集中，采用N+1模式，将地理上分布于多点的下辖部门日常产生的业务数据同步汇聚到数据中心，汇聚后的数据包含原始业务数据所有信息，用于集中共享或向大数据平台提供输入数据。
2023-08-02 11:58:17
1108
转载 MySQL高可用双活方案
对于B地备份中心产生的业务数据，需要实时回传至A地中心数据库库，确保A地业务中心与B地备份中心数据一致。由于自增值在复制前后会发生变化，需要在每张包含自增列的表中额外增加列origin_id bigint null，该列由Beedup自动创建并对应用系统透明，仅在数据同步到目标端时记录原来的自增值。对于数据库双向复制，需要配置2个复制方向相反的任务，第一个任务用于复制业务中心变化到备份中心，第二个任务用于从备份中心复制变化到业务中心。选择工具栏[新建]按钮，弹出任务属性对话框，依次设置主库及从库连接参数。
2023-05-17 19:42:29
495
转载 数据库实时同步方案
采用数据库逻辑复制技术，通过实时解析主库日志还原执行的DML及DDL并按照事务单元重新在从库执行，实现主从库的数据完全一致。目前支持Oracle、SQL Server、DB2、MySQL、PostgreSQL等数据库实时同步
2023-04-24 17:58:10
457
转载 Oracle RAC+ASM 数据库实时同步
采用Beedup实现数据库实时同步，主库环境Oracle RAC+ASM，内存64G，历史数据19T，日增归档100G，从库单实例环境，内存192G
2023-03-03 10:26:50
610
转载 ETL性能优化
BeeDI内置多种机制用于ETL性能优化，可选择同步、异步、并发、缓冲更新等不同数据载入方式或调整提交缓冲记录数优化单一ETL任务性能，也可调整任务并发数优化多任务运行性能。BeeDI提供性能监测功能，可输出ETL各项操作与内存关系变化曲线，通过性能监测，确定ETL性能瓶颈，最终实现ETL性能优化。
2023-01-13 16:20:24
242
转载 MySQL高可用双活方案
多地业务系统直接读写某地A的MySQL中心数据库数据，中心数据库数据实时同步到异地B的备份中心。当某地业务系统访问A地中心数据库失败时，则切换到B地备份数据库读写数据。对于B地备份中心产生的业务数据，需要实时回传至A地中心数据库库，确保A地业务中心与B地备份中心数据一致。
2022-12-02 09:25:25
1081
转载 国产ETL 与 ODI
继系统集成、应用集成、业务集成之后，最头痛的数据集成（Data Integration）就Oracle的数据集成类工具。ODI（Oracle Data Integrator）与国产ETL工具灵蜂ETL产品（Beeload&BeeDI）功能相同与不同点
2022-11-01 09:52:58
513
转载 ETL工具— C/S 架构 为数字基建 “安全” 保驾护航
Beeload&BeeDI 产品 C/S架构 为 信创 中间件（ ETL工具）添砖加瓦
2022-09-21 16:30:54
170
转载 实时 双向同步&双向复制 即 Beedup 产品
Beedup 基于数据库日志解析的实时复制软件产品，提供多种数据库（Oracle/SQLServer/DB2/MySQL/Gbase/PostgreSQL）的异地容灾备份，异地数据同步功能。支持复制时的主库和从库双活，支持CDC（Changed Data Capture）， 满足从PC到服务器、从Windows到Linux 再到Unix环境的复制。...
2022-08-01 10:02:58
199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人