GBase RTSync 优化参数

最新推荐文章于 2024-06-13 10:53:06 发布
最新推荐文章于 2024-06-13 10:53:06 发布
阅读量600 收藏
点赞数
分类专栏： GBase 8a 文章标签： sql 数据库 数据仓库 分布式 database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_dar/article/details/123736297
版权

为提高GBase RTSync同步工具的同步性能，建议对如下参数进行优化

参数名参数含义建议值

cacheMaxSize

事务缓存在内存中的最大数据量，单位为Byte，默认大小为100MB。

超过该大小的事务会落地到磁盘中。

在服务器性能允许的情况下，增加该值可以避免数据落地，从而提高同步性能。

2147463480

transMaxCount

大事务拆分功能，如果事务条数超过指定配置大小，将会按照该条数将事务分为多个小事务。

默认100000，目前仅oracle支持

1000000

packetMaxSize

事务分包读取的最大数据量，单位为Byte，默认大小为5MB。

如果单条数据超过该大小，则保证该条数据的完整。

100000
龘辰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GBase RTSync工具快速部署（一）
05-24
GBase RTSync 工具快速部署（一） 本节将详细介绍 GBase RTSync 工具的快速部署过程，包括同步工具简介、同步工具架构、同步工具运行环境、安装环境、RTSync 工具部署等方面的知识点。 一、同步工具简介 GBase ...
GBase RTSync工具快速部署（二）.docx
05-24
GBase RTSync工具快速部署（二）.docx
GBase RTSync 同步工具产品架构介绍
10-31 606
GBase RTSync 同步工具现在支持的同步数据库及中间包含：Oracle数据库，Mysql数据库，Infomix数据库，SQLServer数据库以及Kafka中间件等。同步工具总体采用分布式组件架构模式，将整个系统分为多个分布式组件，每个组件根据所处的部署位置，提供不同的服务，通过组件的交互实现完整的数据同步功能。从消息队列组件中获取协议数据，并根据目标库的类型，组织和优化数据，将数据写入目标数据库；启、停和监控数据捕获、投递组件，校验源和目标端数据同步相关配置信息。
GBase RTSync 关键技术
zgp_5715116的博客
06-15 139
GBase RTSync 关键技术
GBase RTSync 专题 RTSync配置
Mr_dar的博客
02-22 218
GBase RTSync使用起来并不复杂核心在于将配置文件配置正确使得GBase RTSync可以get到它需要同步的源端与目的端的所有信息。 本章节介绍第一个重要配置文件config_task.xml的中server的配置方法。 打开配置文件，映入眼帘的就是server的配置 <serversyncMode="full"dataFormatType="PUREDATA"id="server1"mqType="kafka"queueName="8tto8tMQ"isHighAvail...
GBase RTSync产品技术特点
zgp_5715116的博客
06-15 79
GBase RTSync产品技术特点
GBase RTSync 专题---RTSync 介绍
Mr_dar的博客
02-22 283
什么是GBase RTSync？ 南大通用实时同步系统，简称：GBase RTSync，它是一款自主研发的异构及同构数据库增量数据实时同步产品，具备实时性、一致性、精准性、易扩展性和可集成特性，适用亍 OLTP 数据库不 OLAP 数据库联劢向应用系统提供数据管理和数据分析功能的业务场景，可以实现将 OLTP 数据库的数据实时同步到 OLAP 数据库，从而使得 OLAP 数据库具备了实时数据分析的基础，解决数据增量同步问题，能够有效提升数据仓库系统、BI 系统和决策支持系统的数据分析效率和及时性。 G.
GBase RTSync 产品架构图
zhu1981hui的博客
05-27 102
GBase RTSync 实时同步系统由四个子系统组件组成，分别是读数据组件、消息队列组件、写数据组件和管理组件 ：  读数据组件，从数据源获取并解析增量数据逻辑日志，按照特定的协议标准封装后发送给消息队列；  消息队列组件，传输和缓冲读数据组件发送的数据。目前支持 Kafka 以及 Rabbit MQ，两者均可保证高可用；  写数据组件，从消息队列组件中获取协议数据，并根据目标库的类型， 组织和优化数据，将数据写入目标数据库；  管理组件，启、停和监控读、写组件，校验源和目标端数据同步相关配置信息
GBase RTSync 专题--RTSync配置(三)
Mr_dar的博客
02-22 584
本章尤为重要，配置的是配置文件config_task.xml所需同步的读端【source】信息，对于这部分信息的配置要做到准确，否则会引起GBase RTSync 启动失败的情况。 【source】同步工具读端组件配置信息，其相关配置样例如下： <source ip="192.168.7.186" path="/opt/RTSync" queueSize="10000" readParseAdapter="adapter" user="root" password="111111" writeL
GBase RTSync产品GBase 8s-＞GBase 8a 增量数据同步
zhu1981hui的博客
05-26 230
GBase 8s->GBase 8a 增量数据同步 1、库、表、列级别映射的增量同步 2、支持多个 GBase 8s 数据源 3、支持多个 GBase 8a 目标库 4、支持高可用部署
南大通用实时同步系统-GBase RTSync
weixin_50910583的博客
04-27 1823
南大通用实时同步系统，简称:GBase RTSync，它是一款自主研发的异 构及同构数据库增量数据实时同步产品，具备实时性、一致性、精准性、易扩 展性和可集成特性，适用于 OLTP 数据库与 OLAP 数据库联动向应用系统提供 数据管理和数据分析功能的业务场景，可以实现将 OLTP 数据库的数据实时同 步到 OLAP 数据库，从而使得 OLAP 数据库具备了实时数据分析的基础，解决 数据增量同步问题，能够有效提升数据仓库系统、BI 系统和决策支持系统的数 据分析效率和及时性。 ...
GBase8s_优化指令介绍.docx
11-24
GBase8s_优化指令介绍.docx
gbase免费安装包，8.6.2
06-06
gbase免费安装包，8.6.2
Flink Sql-用户自定义 Sources & Sinks
bigdatakenan的博客
06-13 799
在许多情况下，开发人员不需要从头开始创建新的连接器，而是希望稍微修改现有的连接器或 hook 到现有的 stack。在其他情况下，开发人员希望创建专门的连接器。本节对这两种用例都有帮助。它解释了表连接器的一般体系结构，从 API 中的纯粹声明到在集群上执行的运行时代码实心箭头展示了在转换过程中对象如何从一个阶段到下一个阶段转换为其他对象。
PostgreSQL 的内置函数
最新发布
一拳莫敌的博客
06-13 677
PostgreSQL 提供了大量的内置函数，这些函数可以在查询中用于处理数据、进行计算和转换。
JavaSpringboot+vur前后端分离党员信息管理系统（源码+sql+论文）
u014445459的博客
06-11 752
简化系统开发和维护。它做的事情越多，就封装了常见的JavaScript功能和代码，并提供了一个简单的JavaScript设计相关的模式，用于优化HTML文档操作、事件处理、CSS样式化、动画设计和Ajax请求交互。在互联网技术高速发展的今天，通过互联网的传播会让企业更容易的创造更多的经济效益，利用互联网的传播党建信息管理、通过网页版党建信息管理平台的实现 ，让更多人了解到党建新闻、组织风采等相关信息、得到了更大的宣传，在这样一个大环境下把资源统筹规化起来，就会获得高效的党建党员信息和推广。
PostgreSQL的视图pg_roles
lee_vincent1的博客
06-10 629
pg_roles是 PostgreSQL 中的一个系统视图，提供了关于数据库角色（用户和组）的信息。PostgreSQL 中的角色用于管理数据库的权限、登录能力以及其他安全相关的特性。通过查询pg_roles视图，数据库管理员可以了解和管理数据库中所有角色的详细信息。pg_roles。
gbase 8a TEXT模糊查询如何优化
04-04
1.建立正向索引和反向...6. 优化数据库的配置和性能，如增加内存、加入集群等。 7. 合理使用分片技术，将大量数据分割成多个片段，降低查询压力。 8. 使用全文检索引擎，如Elasticsearch等，提高查询效率和准确度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值