架构师学习笔记(七)阿里云DTS综合体验-体验DTS迁移、同步、订阅功能的典型应用场景及配置方式

DTS综合体验

第 1 章实验背景

1.1 注意事项

注意:

  • 本实验涵盖两部分实验资源,请点击第一部分创建资源后,间隔3~5秒后再点击第二部分创建资源
  • 本实验涉及到本地自建MySQL数据库及RDS for MySQL数据库,最好对MySQL和RDS有基础的了解
  • 本实验的DTS相关链路已在创建资源时创建完成,实际操作时需要自行购买,请参考官方文档选择配置规格进行购买

1.2 背景知识

DTS简介

  • 数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持RDBMS、NoSQL、OLAP等,集数据迁移/订阅/同步于一体,为您提供稳定安全的传输链路。

数据迁移

  • 数据迁移功能旨在帮助用户方便、快速地实现各种数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。数据传输服务提供的数据迁移功能能够支持同/异构数据源之间的数据迁移,同时提供了库表列三级映射、数据过滤多种ETL特性。

数据同步

  • 数据同步功能旨在帮助用户实现两个数据源之间的数据实时同步。数据同步功能可应用于异地多活、数据异地灾备、本地数据灾备、数据异地多活、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。

数据订阅

  • 数据订阅功能旨在帮助用户获取自建MySQL、RDS MySQL、Oracle的实时增量数据,您可以根据自身业务需求自由消费增量数据,例如缓存更新策略、业务异步解耦、异构数据源数据实时同步及含复杂ETL的数据实时同步等多种业务场景。原有的数据订阅功能使用成本相对较高,为提升用户体验,降低使用成本,阿里云对数据订阅功能进行升级,可实现数据的多下游重复消费。

第 2 章实验详情

2.1 实验资源-地域A

  1. 请点击页面左侧的 实验资源 ,在左侧栏中,查看本次实验资源信息。

ECS01 业务服务器 ECS

在这里插入图片描述

RDS01 RDS

在这里插入图片描述

DTS迁移链路 DTSMIGRATION
在这里插入图片描述

DTS数据订阅链路 DTSSUBSCRIPTION

  1. 在弹出的左侧栏中,点击 创建资源 按钮,开始创建实验资源。
  2. 资源创建过程需要1-3分钟。完成实验资源的创建后,用户可以通过 实验资源 查看实验中所需的资源信息,例如:阿里云账号等。

2.2 实验资源-地域B

  1. 请点击页面左侧的 实验资源 ,在左侧栏中,查看本次实验资源信息。

在这里插入图片描述

ECS02 操作员跳板机 ECS

在这里插入图片描述

DTS同步链路 DTSSYNC

在这里插入图片描述

RDS02 RDS

  1. 在弹出的左侧栏中,点击 创建资源 按钮,开始创建实验资源。
  2. 资源创建过程需要1-3分钟。完成实验资源的创建后,用户可以通过 实验资源 查看实验中所需的资源信息,例如:阿里云账号等。

2.3 实验环境检查

本小节目的是了解实验环境,并检查实验环境是否正常可用

本实验涵盖两部分实验资源,点击第一部分创建资源后,间隔3~5秒后再点击第二部分创建资源

注意:本实验涉及的实例、账号、密码较多,建议创建一个文本文档记录

例:

ECS01-业务服务器:
	ip地址:xxx.xxx.xxx.xxx
	user/passwd:xxxx/xxxx
	
ECS01自建MySQL:
	user/passwd:xxxx/xxxx
	
ECS02-操作员跳板机:
	ip地址:xxx.xxx.xxx.xxx
	user/passwd:xxxx/xxxx

RDS01:
	URL:xxxxxxxxxxxxx
	user/passwd:xxxx/xxxx

RDS02:
	URL:xxxxxxxxxxxxx
	user/passwd:xxxx/xxxx

1.实验资源及概念概览

在这里插入图片描述

地域 A

  • ECS 01:主要用来模拟公司业务服务器,上面运行的是公司的业务应用。
  • 其次用来模拟公司业务数据库(机房自建MySQL数据库-迁移上云的源库)数据库管理员用户为 root,数据库业务用户为 prd_admin,密码均为 CentOS_1234
  • RDS 01:云上用来替代机房自建MySQL的数据库(迁移上云的目标库)

地域 B

  • ECS 02:用来模拟公司的运维/操作人员的跳板机
  • RDS 02:用来与RDS 01组成异地灾备的备用实例

2.连接至操作员跳板机(ECS 02)

在本实验提供的实验资源获取 ECS 02 的 弹性IP,并通过Windows的远程桌面连接连接至 ECS 02。

(若是MAC连接Windows,可参考 帮助文档 。)

在这里插入图片描述

从本实验提供的实验资源获取 ECS 02 的 用户 及 密码,输入并连接至操作员跳板机(ECS 02)

在这里插入图片描述

3.通过操作员跳板机(ECS 02)上的工具连接至业务服务器(ECS 01)

双机打开 PuTTY 连接工具

在这里插入图片描述

输入实验资源提供的 ECS 01 的 弹性IP ,点击 Open 按钮进行连接

在这里插入图片描述

从本实验提供的实验资源获取 ECS 01 的 用户 及 密码。

在输入用户名(root)后,按 Enter键 会出现输入密码的提示

从实验资源复制好密码,在 PuTTY 中点击鼠标右键即可粘贴(但界面并不会显示所输入的密码),按 Enter键 进行连接

(PuTTY中,鼠标左键选中即完成复制选择内容的操作,点击鼠标右键即可粘贴复制的内容,输入的密码不会有回显)

在这里插入图片描述

4.登录自建的MySQL数据库(ECS 01),检查 ‘业务库’、‘业务表’ 是否存在

通过刚刚登录至业务服务器(ECS 01)的 PuTTY,输入命令来登录数据库:

mysql -uroot -pCentOS_1234

(root为数据库的管理用户,CentOS_1234为密码)

在这里插入图片描述

在MySQL数据库中通过命令来切换至业务库(注意结尾处有分号):

use prd_database;

在这里插入图片描述

通过以下命令检查业务表 t_order 是否存在:

show tables; --(查看是否有业务表 t_order)

请保留该数据库连接窗口(自建MySQL窗口),后续会继续使用

(通过输入 exit 命令可退出数据库连接)

5.编辑“业务应用”中的配置

再次双击 PuTTY 连接工具,打开一个新的窗口

输入实验资源提供的 ECS 01的 弹性IP,通过实验资源提供的 用户 及 密码 连接至业务服务器(ECS 01)

(目前我们有两个PuTTY窗口,一个是上一步保留的 自建MySQL窗口 ,一个是此次创建的 业务服务器窗口)

输入如下命令开始编辑 “业务应用”

vim /prd/prd_data.sh

按 i 键 ,进入编辑模式(参考下列内容修改参数):

参数配置参数释义
u = “prd_admin”u=“连接数据库的业务用户名”
p = “CentOS_1234”p=“业务用户的密码”
h = “127.0.0.1”h=“连接 ECS 01 本机的数据库”

其他部分无需修改,按 ESC键 退出编辑模式,然后依次键入 :wq (冒号,小写w,小写q) 后,按 Enter键 保存修改并退出。

脚本参数初始设置如下图所示,若有异同,可参照下图修改:

在这里插入图片描述

完成修改后,请保留该业务服务器连接窗口(业务服务器窗口),后续会继续使用

6.测试“业务应用”是否可用,数据是否可以正常插入数据库

通过上一步新创建的 业务服务器窗口 启动 “业务应用”,命令:

sh /prd/prd_data.sh

“业务应用” 会持续向业务表插入数据

显示为下图内容即为正常(通过 Ctrl+C 组合键即可中断 “业务应用” 运行)

切换到已登录数据库的PuTTY会话(自建MySQL窗口),执行命令来检查数据(注意命令结尾处的分号):

**use** prd_database; *--切换至业务库 prd_database*
**select** * **from** t_order;         *--查看业务表 t_order 的数据*

下图是通过 select * from t_order; 命令的方式来查看数据是否有顺利插入(可重复执行 select * from t_order; 命令来查看数据变化)

在这里插入图片描述

完成测试后,在 业务服务器窗口 通过 Ctrl+C 组合键 停止 “业务应用”。

7.通过RAM账号登录阿里云RDS控制台

点击页面左侧 实验资源 ,下拉框中点击 点击 控制台链接,依次输入 实验资源 提供的 子用户名称子帐号密码 ,然后点击 登录

注意:为了防止实验账户与您的账号冲突,请通过浏览器的“无痕模式”或再打开另一种浏览器进行实验账户的登录

在这里插入图片描述

鼠标悬停左上角在这里插入图片描述按钮,然后将鼠标悬停至产品与服务,在搜索栏检索关键字RDS,点击云数据库RDS版,进入阿里云RDS管理控制台。

在这里插入图片描述

8.为RDS创建高权限账号

按照实验资源提供的RDS 实例ID,通过RDS控制台分别在 RDS 01、RDS 02 的账号管理页面创建高权限账号和密码:

RDS01:rds01admin/CentOS_1234

RDS02:rds02admin/CentOS_1234

操作步骤:

在右侧列表选择 实例列表 ,在顶部地址栏,选择 实验资源 提供的 地域 信息。核对 实验资源 提供的 实例 ID ,点击 管理 进入该RDS实例管理页面

在这里插入图片描述

在左侧栏选择 账号管理 ,点击 创建账号 进入创建账号界面,填入数据库账号、账号类型(高权限账号)、密码 信息。点击 确定 后,完成创建。

在本实验中会通过刚刚创建高权限账号进行DTS配置,生产环境中最好创建专用账号来用于DTS的数据传输配置。

在这里插入图片描述

2.4 通过DTS迁移数据库上云

在这里插入图片描述

本小节实验目的:

通过DTS将 “线下自建数据库” 迁移上云

1.开启 “业务应用”,模拟业务运行

通过在上一小节第二次创建的PuTTY窗口(业务服务器窗口)来执行命令,启动 “业务应用”:

sh /prd/prd_data.sh

出现如下提示即为正常

在这里插入图片描述

2.选择已创建好的DTS迁移资源

鼠标悬停左上角在这里插入图片描述按钮,然后将鼠标悬停至产品与服务,在搜索栏检索关键字DTS,点击数据库传输服务DTS,进入阿里云DTS管理控制台。
在这里插入图片描述

选择 数据迁移,根据实验资源中 RDS 01 (目标库)的地域选择DTS迁移链路的地域,并依据实验资源中 DTS迁移链路 的 实例ID,找到对应的DTS迁移链路

点击对应的DTS迁移实例右侧的 “配置迁移任务”,进入DTS配置页面

在这里插入图片描述

3.配置DTS迁移链路

由于本次迁移实验的目的是模拟线下机房自建MySQL数据库迁移上云,因此在配置过程中使用的是业务数据库服务器的弹性IP(公网IP)

通过公网IP进行连接数据库进行DTS迁移需要注意以下几点:

(本次实验源端 ECS 01 已做好上述相关配置,无需再次进行配置)

参考如下信息配置DTS迁移链路

3.1 配置源库及目标库

任务名称:可依据任务内容自行填写,如 数据库迁移至RDS;

源库信息:

  • 实例类型:有公网IP的自建数据库
  • 实例地区:“有公网IP的自建数据库” 实例类型数据源无需选择 ‘实例地区’(默认即可)
  • 数据库类型:MySQL
  • 主机名或IP地址:实验资源中 ECS 01 的 弹性IP
  • 端口:3306
  • 数据库账号:root
  • 数据库密码:CentOS_1234

目标库信息:

  • 实例类型:RDS实例
  • 实例地区:RDS01的地域(实验资源中 RDS 01 的 地域)
  • RDS实例ID:实验资源中 RDS 01 的 实例ID
  • 数据库账号:在第3节创建的 RDS 01 数据库账号(rds01admin)
  • 数据库密码:账号所对应的密码(CentOS_1234)
  • 连接方式:非加密连接(默认即可)

通过 “测试连接” 按钮来检测源端/目标端配置的连通性,均检测通过后,点击 “授权白名单并进入下一步” 来进入下一步

在这里插入图片描述

[

3.2 配置迁移类型及列表

本次实验是增量迁移

在 迁移类型 处勾选 :结构迁移 、 全量数据迁移 、 增量数据迁移

在 迁移对象 中,选中要迁移对象(prd_database 库),被选中的对象字体会变粗,然后点击中间的 “ > ” 按钮,将其加入至 已选择对象 中

本次实验不涉及到修改映射名及库表名的大小写转换,其他选项维持默认

在这里插入图片描述

在这里插入图片描述

完成上述配置后,点击 “预检查并启动”,进入预检查阶段

3.3 预检查

待预检查通过后,点击 “下一步” 进入下一步(如果预检查未通过,可以依据检测未通过项的提示进行修复)

在这里插入图片描述

3.4 等待数据迁移

开始迁移后,可以在DTS控制台查看迁移进度及迁移状态

在这里插入图片描述

待 结构迁移 、全量迁移 进度均为 100% ,链路进入 增量迁移 状态,且 延迟 低于 3秒时,即表示数据开始实时同步,可以开始校验数据

在这里插入图片描述

4.验证数据一致性

在操作员跳板机(ECS 02 )再次双击打开一个PuTTY连接窗口

输入实验资源提供的 ECS 01 的 弹性IP,通过实验资源提供的 用户 及 密码 连接至业务服务器(ECS 01)

在实验资源中获取 RDS 01 的 连接地址,通过如下命令连接至 RDS 01 数据库实例(需将 -h 后的字符串替换为刚刚获取的 连接地址):

mysql -urds01admin -pCentOS_1234 -hrm-xxxxxxxxxxx.mysql.rds.aliyuncs.com
注意:-u后面是第3节创建的RDS 01数据库账号,-p后面是账号对应的密码,-h后面是RDS 01的连接地址(mysql -u用户 -p密码 -h地址)

(目前我们有三个PuTTY窗口,第一次开启的 自建MySQL窗口 ,第二次开启且正在运行“业务应用”的 业务服务器窗口 ,第三次开启的 RDS01窗口)

连接数据库后分别在 自建MySQL窗口 和 RDS01窗口 执行如下命令:

**use** prd_database; *--切换至业务库*
**select** * **from** t_order; *--查看业务表数据*

(可重复执行 select * from t_order; 命令来查看当前数据)

通过 数据内容 及 当前时间列(最后一列),可以快速分辨出,数据是实时同步的

在这里插入图片描述

5. “业务应用” 切换前准备

通过RDS控制台进入 RDS 01 的账号管理,创建业务账号并赋权

  • 数据库账号:prd_admin
  • 账号类型:普通账号
  • 授权数据库:prd_database – 读写权限
  • 密码:CentOS_1234

在这里插入图片描述

创建完成

在这里插入图片描述

6. 开始切换

通过 业务员跳板机(ECS 02)操作 运行“业务应用”脚本的窗口(业务服务器窗口),通过 Ctrl+C 组合键,停止业务脚本。

6.1 修改业务应用配置

在当前窗口执行命令修改业务应用配置:

vim /prd/prd_data.sh

按 i 键 ,进入编辑模式(由于同名用户及密码已在 RDS 01 上创建完成,只需修改连接地址的参数即可)

h=“rm-xxxxxxxxxxx.mysql.rds.aliyuncs.com” (从实验资源中获取 RDS 01 的连接地址)

完成修改后,按 ECS 键 退出编辑模式,依次键入 :wq (冒号,小写w,小写q)后,按 Enter键 保存修改并退出

6.2 停止DTS增量迁移链路

在DTS控制台上结束增量之前配置的DTS迁移链路,防止后续人为操作同步至目标库

在这里插入图片描述

6.3 启动“业务应用”

在刚刚操作的 业务服务器窗口 通过命令启动已修改完配置的 “业务应用”

sh /prd/prd_data.sh

显示如下图所示内容即为正常

在这里插入图片描述

6.4 检查数据

在操作员跳板机(ECS 02),分别通过 自建MySQL窗口 和 RDS01窗口 执行 select * from t_order; 命令来检查数据。

通过简单对比可以发现:

  • 源库已经没有新的“业务数据”
  • 新库开始插入新的“业务数据”
  • 源库和新库的历史数据一致

在这里插入图片描述

业务应用完成切换,“线下数据库”顺利上云

2.5 通过DTS同步实现异地灾备

在这里插入图片描述

实验目的:

通过DTS数据同步功能实现数据库实例异地灾备

1. 检查“业务应用”运行状况

通过操作员跳板机(ECS02)中的 业务服务器窗口 检查上一小节(第4小节)修改后的 “业务应用” 是否正在运行。

若没有运行,可通过命令开启 “业务应用”

sh /prd/prd_data.sh

2. 选择已创建好的DTS同步链路资源

进入 DTS控制台 ,选择 数据同步,根据实验资源中 RDS 02 的 地域 选择DTS同步链路的地域

在这里插入图片描述

依据实验资源提供的 DTS同步链路 的 实例ID ,选择对应同步链路,点击右侧的 “配置同步链路” 开始配置链路

3. 配置DTS同步链路

本次实验主要是要将 RDS 01 的数据实时同步至 RDS 02,RDS 01 与 RDS 02 处于不同的地域。

当 地域 A 的 RDS 01 出现问题时,可以将业务应用切换至 地域 B 的 RDS 02,实现数据库实例异地灾备

参考如下信息配置DTS同步链路

3.1 选择同步通道的源及目标实例

同步作业名称:可依据任务内容自行填写,如 A地域RDS -> B地域RDS

源实例信息:

  • 实例类型:RDS实例
  • 实例地区:实验资源中 RDS 01 的地域信息,如 华东2(上海)
  • 实例ID:实例资源中 RDS 01 的 实例ID,如 rm-xxxxxxxxx
  • 数据库账号:连接至 RDS 01 的数据库账号 ,rds01admin
  • 数据库密码:数据库账号对应的密码,CentOS_1234
  • 连接方式:非加密连接(默认即可)

目标实例信息:

  • 实例类型:RDS实例
  • 实例地区:实验资源中 RDS 02 的地域信息,如 华东1(杭州)
  • 实例ID:实例资源中 RDS 02 的 实例ID,如 rm-xxxxxxxxx
  • 数据库账号:连接至 RDS 02 的数据库账号,rds02admin
  • 数据库密码:数据库账号对应的密码,CentOS_1234
  • 连接方式:非加密连接(默认即可)

点击 “授权白名单并进入下一步” 来进入下一步

在这里插入图片描述

在这里插入图片描述

3.2 选择同步对象

目标已存在表的处理模式:预检查并报错拦截(默认)

在 源库对象 选择要同步的数据库(prd_database库),被选中的库字体会变粗,然后点击中间的 “>” 按钮,将其加入至 已选择对象 中。

由于本次试验不涉及 “映射名更改” ,选项保持默认即可

完成 “选择同步对象” 后,点击 “下一步” 按钮进入下一步

在这里插入图片描述在这里插入图片描述

3.3 高级设置

同步初始化:选择 结构初始化,全量数据初始化

完成选择后,点击 “预检查并启动” 进入下一步

在这里插入图片描述

3.4 预检查

等待预检查通过,点击 “关闭” ,便开始数据同步初始化

若预检查报错,可依照报错提示来修复问题

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DlGZpTsl-1648614578922)(DTS%E7%BB%BC%E5%90%88%E4%BD%93%E9%AA%8C%209136f/image47.png)]

3.5 等待同步初始化完成

在 DTS控制台,点击对应的 DTS同步链路 的 实例ID ,进入详情页面

通过 “同步初始化” 页面下的 “结构初始化” 和 “全量数据初始化” 来查看初始进度(如若没有内容,请等待片刻后刷新页面)

在这里插入图片描述

在这里插入图片描述

点击页面左上角的 < 按钮 回到 DTS控制台 查看同步链路 状态 ,当对应同步链路状态变为 “同步中” 时,表示数据已进入实时同步状态。

4. 开通 RDS 02 公网连接地址

在 RDS控制台,选择 RDS 02 实例,在 基本信息 页面,点击 申请外网地址 来为 RDS 02 申请一个外网地址

(因为 业务服务器-ECS 01、RDS 01 均在 地域 A,RDS 02 在 地域 B ,夸地域连接需要通过外网地址进行连接)

在这里插入图片描述

完成操作后,在外网地址的位置处就会显示该 RDS 实例的外网地址

在这里插入图片描述

5. 验证数据一致性

在操作员跳板机(ECS 02 )再次双击打开一个PuTTY连接窗口

输入实验资源提供的 ECS 01 的 弹性IP,通过实验资源提供的 用户 及 密码 连接至业务服务器(ECS 01)

通过刚刚申请 RDS 02 的 外网地址 ,使用如下命令连接至 RDS 02 数据库实例(需将 -h 后的字符串替换为刚刚获取的 外网地址):

mysql -urds02admin -pCentOS_1234 -hrm-xxxxxxxxxxx.mysql.rds.aliyuncs.com

注意:-u后面是第3节创建的RDS 02数据库账号,-p后面是账号对应的密码,-h后面是RDS 02的连接地址(mysql -u用户 -p密码 -h地址)

(目前我们有四个PuTTY窗口,第一次开启的 自建MySQL窗口 ,第二次开启且正在运行 “业务应用” 的 业务服务器窗口 ,第三次开启的 RDS01窗口,第四次开启的 RDS02窗口)

连接数据库后分别在 RDS01窗口 和 RDS02窗口 执行如下命令:

**use** prd_database; *--切换至业务库*
**select** * **from** t_order; *--查看业务表数据*

(可重复执行 select * from t_order; 命令来查看当前数据)

通过 数据内容 及 当前时间列(最后一列),可以快速分辨出,数据是实时同步的

在这里插入图片描述

6. 在RDS02数据库创建 “业务用户”,以备灾备时切换

在 RDS控制台,选择 RDS 02 实例,通过 账号管理 页面创建相同业务用户、密码、权限的业务账号,当 RDS 01 出现问题后,可将业务立即切换接入至备用 RDS 02 实例。

创建账号:

  • 数据库账号:prd_admin
  • 账号类型:普通账号
  • 授权数据库:prd_database(读写DDL+DML)
  • 密码:CentOS_1234

在这里插入图片描述

至此通过DTS同步链路搭建异地灾备完成

2.6 通过DTS订阅实现更新数据订阅

在这里插入图片描述

实验目的:

通过DTS数据订阅功能,将业务解耦,提高客户使用体验

原业务逻辑(需要多套系统处理完数据后才能反馈结果):

在这里插入图片描述

通过DTS数据订阅,业务解耦后的业务逻辑(仅需订单系统处理后即可反馈):

在这里插入图片描述

1. 检查“业务应用”运行状况

通过操作员跳板机(ECS02)中的 业务服务器窗口 的 “业务应用” 是否正在运行。

若没有运行,可通过命令开启 “业务应用”

**sh** /prd/prd_data.sh

2. 选择已创建好的DTS订阅链路资源

在 DTS控制台,选择 数据订阅 页面依据实验资源中 DTS订阅链路 的 实例ID 和数据源(RDS 01)的 地域 找到已创建好的DTS订阅实例

点击实例右侧的 “配置订阅通道”,进入配置页面

在这里插入图片描述

3. 配置DTS订阅链路

本次实验主要是要将 RDS 01 的数据变更进行实时捕获,以便将变化数据发送至下游应用消费

参考如下信息配置DTS同步链路

3.1 选择实例

订阅名称:可依据任务内容自行填写,如 XXRDS订阅

源库信息:

  • 实例类型:RDS实例
  • 数据库类型:MySQL
  • 实例地区:选择实验资源中 RDS 01 的地域,如 华东2(上海)
  • RDS实例ID:选择实验资源中 RDS 01 的 实例ID,如 rm-xxxxxxxx
  • 数据库账号:填入 RDS 01 的数据库账号,如 rds01admin
  • 数据库密码:填入数据库账号对应的密码,CentOS_1234

消费网络类型:

可依据下游消费应用的网络类型,选择对应的网络类型

(本次实验不涉及下游应用消费部分,可参照下图随意选择)

完成配置后,点击 “授权白名单并进入下一步” 来进入下一步操作

在这里插入图片描述

在这里插入图片描述

3.2 选择订阅对象

需要订阅的数据类型:数据更新(真实环境下可依据需求选择)

在 订阅对象 中,依次展开 prd_database库 → Tables ,选中 t_order 业务表(选中后字体变粗),点击中间的 > 按钮 ,将其加入 已选择对象 中。

点击 “保存并预检查” 进入预检查阶段

在这里插入图片描述

3.3 预检查

待预检查通过,点击 “关闭” 即可(若预检查失败,可依据错误提示来修正问题)

在这里插入图片描述

4. 查看数据订阅链路状态

在 DTS控制台 的 数据订阅 页面,查看DTS数据订阅实例状态

当其状态变更为 “正常” 时,表明数据订阅链路已成功搭建,并正常运行

5.验证是否订阅到数据变更

通过 DTS控制台 的 数据订阅 页面,找到要查看的DTS数据订阅实例,点击DTS数据订阅的实例ID,进入订阅详情

通过 “订阅数据” 页面即可依照条件检索数据的订阅情况(如果没有数据,请稍后片刻,重新调整查询时间范围,重新查询)

在这里插入图片描述

6.创建消费组

在 DTS控制台 的 数据订阅 页面中,在对应的订阅实例ID右侧点击 “新增消费组” 来创建新的消费组

(或者点击对应的实例ID,进入订阅链路详情页面,在 数据消费 页面中,通过点击右侧的 新增消费组 按钮来创建消费组)

该信息是提供给下游消费使用的,本实验并不涉及,可自行定义消费组名称、账号及密码

点击 “创建” 按钮完成消费组的创建

注意:

  • 一个数据订阅实例中可以创建多个消费组,通过创建多个消费组可以实现数据的重复消费。
  • 同一个消费组对每条消息只进行一次消费,消费组内的多个消费者互为备份。
  • 同一个消费组中,同一时刻只能有一个消费者进行数据消费,其他消费者作为容灾节点。

在这里插入图片描述

7.消费组管理

通过 DTS控制台 的 数据订阅 页面,找到要查看的DTS数据订阅实例,点击DTS数据订阅的实例ID,进入订阅详情

通过 “数据消费” 页面,可以查看并管理消费组

通过消费组的 “消费位点”、“堆积记录” 、“消息延迟” 等信息来判断消费组的状态

通过消费组右侧的操作按钮,可以对消费组进行 修改密码、删除 的操作
在这里插入图片描述

关于数据的消费,需要用通过Kafak Client来消费订阅数据

感兴趣的同学可以参考官方Demo:使用Kafak客户端消费订阅数据

至此 DTS订阅实验结束

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值