DTLE
文章平均质量分 87
爱可生开源社区
成立于 2017 年,以开源高质量的运维工具、日常分享技术干货内容、持续的全国性的社区活动为社区己任;目前开源的产品有:SQL审核工具 SQLE,分布式中间件 DBLE、数据传输组件DTLE。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
数据传输 | 如何开启 DTLE 的 HTTPS 访问模式
作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 如何开启DTLE的HTTPS访问模式 DTLE默认提供的是HTTP的访问模式,但是在使用DTLE的过程中不免要通过API提交诸如数据库的用户名、密码、IP、端口等信息。如果这些信息被第三方获取到,那么对于数据库的使用者简直就是一场灾难。因此DTLE提供了HTTPS的访问模式,保护我们的信息安全。原创 2022-04-26 14:21:06 · 3563 阅读 · 0 评论 -
数据传输 | 如何配合 pt-osc 使用 DTLE 同步 DDL
作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 如何配合pt-osc使用DTLE同步DDL 背景:在社区群里有同学询问,源库使用pt-osc做表DDL变更,DTLE是否支持? 1. pt-osc的原理 1). 创建一个与原表结构相同的空表,表名是_原表名_new 2). 修改步骤 1 创建的空表的表结构 3). 在原表上添加三个触发器:.原创 2022-04-13 11:51:26 · 1021 阅读 · 0 评论 -
数据传输 | 利用 DTLE 将 MySQL 数据同步到 DBLE
作者:任仲禹 爱可生 DBA 团队成员,擅长故障分析和性能优化,文章相关技术问题,欢迎大家一起讨论。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景 源于某客户的需求,存在线上某业务 MySQL 库因为数据量及业务读写压力较大,需要将业务数据迁移到 DBLE 分布式数据库,但同时因为业务为 7x24h,能够停机的时间窗口较短,所以需要考虑数据实时同步的方案。 过往 DBLE 的业务上线基本为全新部署,数据实时同步的情况极少实施,去年 DTLE .原创 2022-03-28 15:51:29 · 1470 阅读 · 0 评论 -
数据传输 | 如何使用 DTLE 将 Oracle 数据同步到 MySQL
作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 前言:过年前 DTLE 发布了 4.22.01.0 版本,该版本最重要的特性是支持 Oracle-MySQL 增量数据同步。今天我就来给大家介绍一下这个功能。 一、现状 1. 目前只支持增量同步 a. 可以根据 SCN 节点开启增量复制 b. 从任务启动时间开启增量复制 2. 类型映射 a. .原创 2022-03-07 18:45:00 · 752 阅读 · 0 评论 -
数据传输 | dtle 之库表重命名
作者:陈怡 爱可生南分团队 DBA,负责公司自动化运维平台维护和处理客户问题。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 前言 DTLE 是开源的数据传输组件,支持 MySQL 多种使用场景的数据传输。 可能会遇到这样的场景,将数据传输到目的端时,目的端的库名想要与源端的库名不一样。或者传输到目的端时,库名与源端的一样,但是想重命名表名与源端的不同。本文将简单介绍 DTLE 如何设置满足这样的场景。 安装部署 1、3.21.10.0 版本 rp.原创 2021-12-24 10:31:04 · 402 阅读 · 0 评论 -
数据传输 | DTLE 如何配置故障转移域
作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景: 最近接到一个工单:DTLE client 被部署在两个机房,其中只有 DTLE clinst 可以相互访问,所以希望故障转移时能在对应机房内切换。 网络结构如下图: 通过分析网络结构可知: DTLE client 只能访问本地机房的 MySQL 如果发生故障转移,只能调度到本地机房.原创 2021-11-15 16:45:49 · 445 阅读 · 0 评论 -
数据传输 | DTLE并行回放性能测试报告
作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景: 在 3.21.07.0 之前 DTLE 也支持并行回放,但是需要事务在源端 MySQL 执行时就要多线程并行执行,并且还要处于同一个组提交中。如此苛刻的条件导致虽然在传输任务中配置了目标端的并发数,但是很难真正的触发DTLE并行回放。 当然如果源端 MySQL 配置了 binlog_t.原创 2021-10-12 14:54:12 · 372 阅读 · 0 评论 -
数据传输 | 如何搭建 DTLE 的监控系统
作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发,最近醉心于 Linux 性能分析优化的相关知识。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景: 虽然在 DTLE 的文档里提供各种监控项的介绍,但是对于不熟悉 prometheus 和 grafana 配置的同学来说上手还是有些难度的。今天我就来 DTLE 3.21.07.0 来搭建一个 DTLE 的监控系统。 一、搭建 DTLE .原创 2021-08-31 11:27:33 · 310 阅读 · 0 评论 -
数据传输 | DTLE 在弱网络环境下的性能报告
作者:刘安 爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发,最近醉心于 Linux 性能分析优化的相关知识。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景条件: 使用 sysbench 压力工具对 10 张 1 万记录表进行增改删操作 使用 TC 工具来模拟高延时,低带宽场景 工具准备: 1.tc # 模拟网络带宽受限以及增加延迟 2.iperf3 # 验证网络带宽 3.sysben.原创 2021-03-22 14:29:05 · 447 阅读 · 0 评论 -
数据传输 | DTLE 3.20.08.0 来啦!
开源数据传输组件 DTLE 3.20.08.0 已于今日发布。 #一、DTLE 项目介绍 爱可生开源社区的 DTLE ,自开源起一直定位于一款针对 MySQL 使用特点、支持多种使用场景的数据传输组件,希望能够解决当前 MySQL 应用中保障数据传输质量、能够适配复杂场景、提供多样功能的问题。 DTLE 获取 版本库:https://github.com/actiontech/dtle 文档:https://actiontech.github.io/dtle-docs-cn/ 发布信息:https://g.原创 2020-09-04 16:05:16 · 378 阅读 · 1 评论 -
数据传输 | mysqldiff/mysqldbcompare 实现 DTLE 自动化测试
作者:张静文 爱可生上海研发中心成员,测试工程师,负责 DMP 以及 DTLE 自动化测试。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 任务: 测试开源产品 dtle(https://github.com/actiontech/dtle),对 mysql 字符类型,表结构的支持性。 测试需求如下: 测试 dtle 对 mysql 所有的字符类型支持性 测试 dtle 对表结构的支持性 等… 测试步骤大致为: 设计表结构,数据类型。 使用 .原创 2020-09-01 17:08:30 · 462 阅读 · 0 评论 -
数据传输 | dtle 使用初探
作者:马莹乐 爱可生研发团队成员,负责 mysql 中间件和数据库管理平台的测试。擅长找茬(测试技术爱好者),欢迎大家试用 dtle~ 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 dtle 是一款爱可生 MySQL 开源数据传输中间件,此文简要介绍初步使用方法。 项目地址:https://github.com/actiontec...原创 2020-03-30 18:17:10 · 2829 阅读 · 0 评论 -
数据传输 | dtle 之 job 实现简析
作者:吕海龙 爱可生 DTLE 团队成员,负责 DTLE 开发 ,日常问题处理以及相关问题的排查。 本文来源:原创投稿 爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 从 job 文件到源端目标端的数据传输,dtle 到底是如何行实现的的,传输过程中的高可用,又是由谁实现呢,下面,我们就简单的介绍一下,job 的实现的大体流程。 结构 如上图所示,在 job ...原创 2020-03-23 15:35:35 · 426 阅读 · 0 评论 -
数据传输 | DTLE Release Notes 详细解读 2.19.11.0
2.19.11.0 版本 DTLE Release Notes 以下对 DTLE 2.19.11.0 版本的 Release Notes 进行详细解读。 文章主要分为四部分内容: 一、DTLE 项目介绍 二、版本特征 三、Bug 修复 四、DTLE Release Notes 一、DTLE 项目介绍 11月28日,开源数据传输组件 DTLE 最新版本 2.19.11.0 发布。 DTLE 自...原创 2019-11-28 16:52:58 · 440 阅读 · 0 评论 -
数据传输 | DTLE Release Notes 详细解读 2.19.05.0
2.19.05.0 版本DTLE Release Notes 以下对 DTLE 2.19.05.0 版本的 Release Notes 进行详细解读。 文章主要分为三部分内容: 一、DTLE 项目介绍 二、功能优化 三、Bug修复 一、DTLE 项目介绍 DTLE (Data-Transformation-le) 是企业级开源分布式传输组件。具备 MySQL 全量增量...原创 2019-07-18 14:49:02 · 422 阅读 · 0 评论 -
数据传输 | DTLE Release Notes 详细解读 2.19.07.0
2.19.07.0 版本 DTLE Release Notes 以下对 DTLE 2.19.07.0 版本的 Release Notes 进行详细解读。 文章主要分为三部分内容: 一、DTLE 项目介绍 二、改进/产品特点 三、Bug 修复 四、DTLE Release Notes 一、DTLE 项目介绍 8月14日,开源数据传输组件 DTLE 最新版本 2.19...原创 2019-08-16 13:14:38 · 563 阅读 · 0 评论
分享