最佳实践：MySQL CDC 同步数据到 ES

作者：于乐，腾讯 CSIG 工程师

一、 方案描述

1.1 概述

在线教育是一种利用大数据、人工智能等新型互联网技术与传统教育行业相结合的新型教育方式。发展在线教育可以更好的构建网络化、数字化、个性化、终生化的教育体系，有利于构建“人人皆学、处处能学、实时可学”的学习型社会。

本文针对某知名在线教育平台在腾讯云流计算 Oceanus 的业务案例，介绍了其中可能存在的一些性能问题，并针对这种问题进行了参数调优相关的介绍。

1.2 方案架构

某知名在线教育平台在流计算 Oceanus 上主要有两个业务应用场景，其一：单表同步，使用 MySQL CDC 将 MySQL 数据取出存入  Elasticsearch；其二：双流 JOIN，两条 MySQL CDC 流 JOIN 后存入 Elasticsearch。本文主要针对这两种场景进行了一些实践，并指出可能存在的特殊场景以及参数调优思路。

涉及产品列表：

• 腾讯云流计算 Oceanus

• 腾讯云 MySQL 数据库

• 腾讯云 Elasticsearch

二、前置准备

2.1 创建私有网络 VPC

私有网络（VPC）是一块您在腾讯云上自定义的逻辑隔离网络空间，在构建 Oceanus、CKafka、COS、ClickHouse 集群等服务时选择的网络建议选择同一个 VPC，网络才能互通，否则需要使用对等连接、NAT 网关、VPN 等方式打通网络。私有网络 VPC 创建步骤请参考 帮助文档 。

2.2 创建流计算 Oceanus 集群

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。

进入 Oceanus 控制台，点击左侧【计算资源】，单击左上角【新建集群】页面创建集群，选择地域、可用区、VPC、日志、存储，设置初始密码等，VPC 及子网使用刚刚创建好的网络。创建完后 Oceanus 的集群如下：

2.3 创建云数据库 MySQL

云数据库 MySQL（TencentDB for MySQL）是腾讯云基于开源数据库 MySQL 专业打造的高性能分布式数据存储服务，让用户能够在云中更轻松地设置、操作和扩展关系数据库。

1. 登录 云数据库 TencentDB 控制台，单击【新建】，新建 MySQL 服务。注意网络选择需为上文创建的网络。 

2. 创建完 MySQL 服务后，点击进入 MySQL 实例，单击上方【数据库管理】>【参数设置】，确保binlog_format = ROW以及binlog_row_image = FULL。