【SDC】StreamSets实战之路-25-实战篇- 如何使用StreamSets实现MySQL中变化数据实时写入Kudu

1.文档编写目的

---

我们在本篇文章主要介绍如何将MySQL Binary Log作为StreamSets的源，来实时捕获MySQL变化数据并将变化数据存入Kudu。

StreamSets实现的流程如下：

• 内容概述

1.环境准备

2.创建StreamSets的Pipeline流程

3.Pipeline流程测试

4.总结

• 测试环境

1.StreamSets版本为3.1.2.0

2.CM和CDH版本为5.13.1

3.MariaDB版本为5.5.56

2.环境准备

---

1.开启MariaDB的Binlog日志

修改/etc/my.conf文件，在配置文件[mysqld]下增加如下配置

server-id=1
log-bin=mysql-bin
binlog_format=ROW

（可左右滑动）

注意：MySQL Binlog支持多种数据更新格式包括Row、Statement和mix（Row和Statement的混合），这里建议使用Row模式的Binlog格式，可以更加方便实时的反应行级别的数据变化。