实时同步
文章平均质量分 76
wahahaman
这个作者很懒,什么都没留下…
展开
-
数据同步方案
数据同步用于将不同数据库系统产生的数据进行单向或双向传输,实时或定时实现不同系统的数据一致,满足数据共享或数据分析需要。原创 2024-03-13 15:57:08 · 5337 阅读 · 0 评论 -
Oracle到DM实时数据同步实施方案
将Oracle 11g RAC生产环境数据同步到DM8分析环境,Oracle数据库大小1.5T,日增归档100G,DM数据库为新建库。初始同步表数70多张,其中10张表记录数过千万,最大表记录数上亿,后续根据需要增加其它同步表。数据同步正常延时不超过5秒。在Oracle中,非空列允许存入长度为0的字符串(空串),而在DM中长度为0的字符串不允许写入非空列,由此导致部分非空列包含空串的数据无法同步写入DM库。原创 2023-08-10 11:19:52 · 7144 阅读 · 0 评论 -
异构数据库同步方案
除用于双活容灾外,凭借异构(主从库不同类型、主从对象不同属主模式)数据处理能力,也可应用于数据同步、数据迁移及数据汇聚项目,在同类或异类库间同步数据,目标数据可选择与源端不同的属主模式存储原创 2023-02-16 17:19:35 · 10834 阅读 · 0 评论 -
OPC数据采集
目录一 概述二 配置1 定义OPC接口2 定义存储接口3 采集项目浏览4 项目值预览5 存储格式定义6 过滤加工定义7 已采集数据预览Beeload提供OPC数据采集功能,支持OPC DA(Data Access)及OPC UA(Unified Architecture)通信标准访问OPC设备,软件按照设定的采集频率持续读取OPC设备数据,支持对采集的数据进行过滤加工处理,处理完成的数据可选择存入各类主流数据库(MySQL、SQL Server、PostgreSQL等)或文本文件。以下内容包含 Beeloa原创 2022-06-17 19:06:21 · 4427 阅读 · 1 评论 -
ETL集群部署
目录一 概述二 配置1 主备资源管理器配置2 作业服务器配置三 操作1 登录资源管理器2 调度执行作业3 作业服务器故障任务迁移4 后备RM接管一 概述BeeDI 提供集群部署调度功能,支持ETL任务在多台服务器上的自由迁移,BeeDI集群部署包含客户端、资源管理器、作业服务器。客户端登录资源管理器发布调度任务,资源管理器负责将任务动态加载到可用的作业服务器运行。当某一作业服务器出现故障,其上运行的任务将被加载到其它作业服务器上继续运行。BeeDI集群组件交原创 2022-03-18 11:02:23 · 3942 阅读 · 0 评论 -
数据同步 模式汇总
目录1 全量同步1.1 全表覆盖1.2差异更新2 增量同步2.1时间戳2.2触发器2.3日志解析BeeDI支持全量及增量数据同步功能,可定时或实时保持目标与源端数据一致。1 全量同步将源表全部数据(或满足特定过滤条件的部分数据)同步到目标表,当源表数据量较大时,同步时间较长。依据同步前是否删除目标表已有数据可选择全表覆盖或差异更新方式。1.1 全表覆盖在同步数据前首先删除目标表已有数据(或依据过滤条件删除特定数据),然后将源表数据批量写入目标表。全....原创 2021-12-24 18:11:17 · 4132 阅读 · 0 评论 -
数据库实时同步方案
一 原理Beedup采用数据库逻辑复制技术,通过实时解析主库日志还原执行的DML及DDL并按照事务单元重新在从库执行,实现主从库的数据完全一致。目前支持Oracle、SQL Server、DB2、MySQL、PostgreSQL等数据库实时同步。二 配置采用Beedup实现数据同步,主库必须开启归档日志,主库连接用户需授予读取日志及系统字典的权限。Beedup采用JDBC连接主库及从库,软件配置十分简单,默认指定主库及从库的连接参数即可。复制任务启动后,自动设置当前主库时间为日志捕获原创 2021-07-05 15:20:10 · 7507 阅读 · 0 评论 -
多源异构数据库实时同步解决方案
1 需求概述将企业多个业务系统产生的交易数据流实时同步到数据仓库或大数据平台,通过对交易数据的联机实时分析,快速制定或调整商业计划,提升企业的核心竞争力。需求关键点:同步过程不可影响或中断业务系统正常运行、同步延时3级以内。2 技术原理采用灵蜂数据集成软件BeeDI在异构库间进行实时数据同步,通过ETL全量同步历史数据,通过日志解析方式实时同步增量数据,BeeDI提供Oracle、SQL Server、M.原创 2021-03-07 16:15:15 · 7291 阅读 · 0 评论 -
MySQL 实时同步 解决方案
目录1 需求概述2 技术原理3 MySQL环境配置3.1 创建用户3.2 启用BinLog4 BeeDI同步操作4.1 配置全量同步任务4.2 配置实时日志解析任务4.3 执行全量同步任务4.4 执行实时日志解析任务4.5 添加更多同步表5 效验同步数据一致性1 需求概述将MySQL5.6生产库多张表的数据实时同步到Oracle11g数据仓库,MySQL历史数据700G,平均每天产生50G左右日志文件,MySQL日志空间50G,超过后滚动删除日志文件。原创 2021-02-16 00:27:23 · 5155 阅读 · 2 评论 -
SQL Server 同步方案 对比
以下表格对SQLServer数据库同步的多种方案进行横向功能对比,便于用户根据项目实际需求选择最佳的适配方案.原创 2020-10-19 09:22:54 · 844 阅读 · 0 评论 -
MySQL 实时同步到 ES 轻松配置
目录1 基本概述2 环境配置2.1 创建用户2.2 启用BinLog3 BeeDI同步操作3.1 创建同步作业3.2创建测试数据3.3 预览MySQL变化数据3.4 同步数据到ES1 基本概述本文介绍采用灵蜂数据集成软件BeeDI将MySQL数据实时同步到ElasticSearch的配置操作过程。BeeDI支持时间戳、触发器、日志解析、差异比对等多种同步模式,对于实时同步需要采用日志解析模式2 环境配置2.1 创建用户在主库创建同步用户,以用户syn.原创 2020-09-25 02:00:27 · 1300 阅读 · 0 评论 -
PostgreSQL 实时复制+CDC
1 基本概念PostgreSQL数据库复制功能是指实时保持PostgreSQL主从库数据一致,同时从库可以提供查询服务降低主库负载。CDC(Change Data Capture)变化数据捕获的简称,用于实时捕获PostgreSQL数据库变化数据,并将捕获的数据向其它数据库(同构或异构)或应用系统同步。Beedup提供PostgreSQL数据库复制与CDC一体化方案,通过解析PostgreSQL数据库的wal日志,将解析的结果数据封装为DML或DDL并按照事务单元在目标库执行,实时保持主从库数据原创 2020-09-17 00:29:11 · 3751 阅读 · 0 评论 -
数据库 复制+审计
随着企业信息化的不断发展,企业业务量迅速增加,业务种类日益复杂。为了保障业务系统的可用性,企业通常购置存储备份产品去备份数据到本地或异地,当数据库设备发生故障后,可以通过还原备份数据来恢复业务系统。但是这种传统备份恢复机制存在严重的缺陷,一旦数据库服务器出现故障,由于设备维修及还原备份数据需要较长时间,业务系统将长时间停止响应。灵蜂Beedup采用数据库逻辑复制技术,通过解析还原主库日志,将还原产生的DML及DDL按照事务单元重新在从库执行,实现主从库的数据完全一致。当主库发生故障时,通过IP地址切原创 2020-07-26 20:09:45 · 228 阅读 · 0 评论 -
Oracle RAC+ASM 数据库实时同步
采用Beedup对某省交警数据库实施数据同步,主库环境Oracle RAC+ASM,内存64G,历史数据19T,日增归档100G,从库单实例环境,内存192G。以下是项目实施过程遇到的主要问题:1 历史数据同步启用Beedup批量复制功能(通过数据库链接主从库直接复制表数据),但在复制BLOB表时由于表记录数太多(6000万)导致执行周期太长而失败。尝试Oracle导入导出方式(IMP...原创 2020-04-06 15:54:52 · 1524 阅读 · 0 评论