DTLE
文章平均质量分 87
爱可生开源社区
成立于 2017 年,以开源高质量的运维工具、日常分享技术干货内容、持续的全国性的社区活动为社区己任;目前开源的产品有:SQL审核工具 SQLE,分布式中间件 DBLE、数据传输组件DTLE。
展开
-
数据传输 | 如何开启 DTLE 的 HTTPS 访问模式
作者:刘安爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。如何开启DTLE的HTTPS访问模式DTLE默认提供的是HTTP的访问模式,但是在使用DTLE的过程中不免要通过API提交诸如数据库的用户名、密码、IP、端口等信息。如果这些信息被第三方获取到,那么对于数据库的使用者简直就是一场灾难。因此DTLE提供了HTTPS的访问模式,保护我们的信息安全。原创 2022-04-26 14:21:06 · 3464 阅读 · 0 评论 -
数据传输 | 如何配合 pt-osc 使用 DTLE 同步 DDL
作者:刘安爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。如何配合pt-osc使用DTLE同步DDL背景:在社区群里有同学询问,源库使用pt-osc做表DDL变更,DTLE是否支持?1. pt-osc的原理1). 创建一个与原表结构相同的空表,表名是_原表名_new2). 修改步骤 1 创建的空表的表结构3). 在原表上添加三个触发器:.原创 2022-04-13 11:51:26 · 934 阅读 · 0 评论 -
数据传输 | 利用 DTLE 将 MySQL 数据同步到 DBLE
作者:任仲禹爱可生 DBA 团队成员,擅长故障分析和性能优化,文章相关技术问题,欢迎大家一起讨论。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。背景源于某客户的需求,存在线上某业务 MySQL 库因为数据量及业务读写压力较大,需要将业务数据迁移到 DBLE 分布式数据库,但同时因为业务为 7x24h,能够停机的时间窗口较短,所以需要考虑数据实时同步的方案。过往 DBLE 的业务上线基本为全新部署,数据实时同步的情况极少实施,去年 DTLE .原创 2022-03-28 15:51:29 · 1281 阅读 · 0 评论 -
数据传输 | 如何使用 DTLE 将 Oracle 数据同步到 MySQL
作者:刘安爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。前言:过年前 DTLE 发布了 4.22.01.0 版本,该版本最重要的特性是支持 Oracle-MySQL 增量数据同步。今天我就来给大家介绍一下这个功能。一、现状1. 目前只支持增量同步a. 可以根据 SCN 节点开启增量复制b. 从任务启动时间开启增量复制2. 类型映射a. .原创 2022-03-07 18:45:00 · 650 阅读 · 0 评论 -
数据传输 | dtle 之库表重命名
作者:陈怡爱可生南分团队 DBA,负责公司自动化运维平台维护和处理客户问题。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。前言DTLE 是开源的数据传输组件,支持 MySQL 多种使用场景的数据传输。 可能会遇到这样的场景,将数据传输到目的端时,目的端的库名想要与源端的库名不一样。或者传输到目的端时,库名与源端的一样,但是想重命名表名与源端的不同。本文将简单介绍 DTLE 如何设置满足这样的场景。安装部署1、3.21.10.0 版本 rp.原创 2021-12-24 10:31:04 · 279 阅读 · 0 评论 -
数据传输 | DTLE 如何配置故障转移域
作者:刘安爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。背景:最近接到一个工单:DTLE client 被部署在两个机房,其中只有 DTLE clinst 可以相互访问,所以希望故障转移时能在对应机房内切换。网络结构如下图:通过分析网络结构可知:DTLE client 只能访问本地机房的 MySQL如果发生故障转移,只能调度到本地机房.原创 2021-11-15 16:45:49 · 355 阅读 · 0 评论 -
数据传输 | DTLE并行回放性能测试报告
作者:刘安爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。背景:在 3.21.07.0 之前 DTLE 也支持并行回放,但是需要事务在源端 MySQL 执行时就要多线程并行执行,并且还要处于同一个组提交中。如此苛刻的条件导致虽然在传输任务中配置了目标端的并发数,但是很难真正的触发DTLE并行回放。当然如果源端 MySQL 配置了 binlog_t.原创 2021-10-12 14:54:12 · 196 阅读 · 0 评论 -
数据传输 | 如何搭建 DTLE 的监控系统
作者:刘安爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发,最近醉心于 Linux 性能分析优化的相关知识。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。背景:虽然在 DTLE 的文档里提供各种监控项的介绍,但是对于不熟悉 prometheus 和 grafana 配置的同学来说上手还是有些难度的。今天我就来 DTLE 3.21.07.0 来搭建一个 DTLE 的监控系统。一、搭建 DTLE .原创 2021-08-31 11:27:33 · 214 阅读 · 0 评论 -
数据传输 | DTLE 在弱网络环境下的性能报告
作者:刘安爱可生测试团队成员,主要负责 DTLE 开源项目相关测试任务,擅长 Python 自动化测试开发,最近醉心于 Linux 性能分析优化的相关知识。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。背景条件:使用 sysbench 压力工具对 10 张 1 万记录表进行增改删操作使用 TC 工具来模拟高延时,低带宽场景工具准备:1.tc # 模拟网络带宽受限以及增加延迟2.iperf3 # 验证网络带宽3.sysben.原创 2021-03-22 14:29:05 · 303 阅读 · 0 评论 -
数据传输 | DTLE 3.20.08.0 来啦!
开源数据传输组件 DTLE 3.20.08.0 已于今日发布。#一、DTLE 项目介绍爱可生开源社区的 DTLE ,自开源起一直定位于一款针对 MySQL 使用特点、支持多种使用场景的数据传输组件,希望能够解决当前 MySQL 应用中保障数据传输质量、能够适配复杂场景、提供多样功能的问题。DTLE 获取版本库:https://github.com/actiontech/dtle文档:https://actiontech.github.io/dtle-docs-cn/发布信息:https://g.原创 2020-09-04 16:05:16 · 257 阅读 · 1 评论 -
数据传输 | mysqldiff/mysqldbcompare 实现 DTLE 自动化测试
作者:张静文爱可生上海研发中心成员,测试工程师,负责 DMP 以及 DTLE 自动化测试。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。任务:测试开源产品 dtle(https://github.com/actiontech/dtle),对 mysql 字符类型,表结构的支持性。测试需求如下:测试 dtle 对 mysql 所有的字符类型支持性测试 dtle 对表结构的支持性等…测试步骤大致为:设计表结构,数据类型。使用 .原创 2020-09-01 17:08:30 · 326 阅读 · 0 评论 -
数据传输 | dtle 使用初探
作者:马莹乐爱可生研发团队成员,负责 mysql 中间件和数据库管理平台的测试。擅长找茬(测试技术爱好者),欢迎大家试用 dtle~本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。dtle 是一款爱可生 MySQL 开源数据传输中间件,此文简要介绍初步使用方法。项目地址:https://github.com/actiontec...原创 2020-03-30 18:17:10 · 2694 阅读 · 0 评论 -
数据传输 | dtle 之 job 实现简析
作者:吕海龙爱可生 DTLE 团队成员,负责 DTLE 开发 ,日常问题处理以及相关问题的排查。本文来源:原创投稿爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。从 job 文件到源端目标端的数据传输,dtle 到底是如何行实现的的,传输过程中的高可用,又是由谁实现呢,下面,我们就简单的介绍一下,job 的实现的大体流程。结构如上图所示,在 job ...原创 2020-03-23 15:35:35 · 353 阅读 · 0 评论 -
数据传输 | DTLE Release Notes 详细解读 2.19.11.0
2.19.11.0 版本 DTLE Release Notes以下对 DTLE 2.19.11.0 版本的 Release Notes 进行详细解读。文章主要分为四部分内容:一、DTLE 项目介绍二、版本特征三、Bug 修复四、DTLE Release Notes一、DTLE 项目介绍11月28日,开源数据传输组件 DTLE 最新版本 2.19.11.0 发布。DTLE 自...原创 2019-11-28 16:52:58 · 311 阅读 · 0 评论 -
数据传输 | DTLE Release Notes 详细解读 2.19.07.0
2.19.07.0 版本DTLE Release Notes以下对 DTLE 2.19.07.0 版本的 Release Notes 进行详细解读。文章主要分为三部分内容:一、DTLE 项目介绍二、改进/产品特点三、Bug 修复四、DTLE Release Notes一、DTLE 项目介绍8月14日,开源数据传输组件 DTLE 最新版本 2.19...原创 2019-08-16 13:14:38 · 483 阅读 · 0 评论 -
数据传输 | DTLE Release Notes 详细解读 2.19.05.0
2.19.05.0 版本DTLE Release Notes以下对 DTLE 2.19.05.0 版本的 Release Notes 进行详细解读。文章主要分为三部分内容:一、DTLE 项目介绍二、功能优化三、Bug修复一、DTLE 项目介绍DTLE (Data-Transformation-le) 是企业级开源分布式传输组件。具备 MySQL 全量增量...原创 2019-07-18 14:49:02 · 330 阅读 · 0 评论