超级会员免费看
本文详细介绍了如何使用StreamSets实现MySQL中的变化数据实时写入HBase。通过开启MySQL的Binlog日志，配置StreamSets Pipeline，包括MySQL Binary Log源、表过滤、HBase目标等，实现了数据的实时同步。测试表明，Insert和Update操作能正常处理，但Delete操作在HBase模块中未被处理。
1.文档编写目的
本篇文章主要介绍如何使用StreamSets实现MySQL中变化数据实时写入HBase。
StreamSets实现的流程如下：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eZ3iOyZw-1645423030593)(https://ask.qcloudimg.com/http-save/yehe-1522219/q9904vro87.jpeg?imageView2/2/w/1620)]](https://i-blog.csdnimg.cn/blog_migrate/b60f824206f223323aca8fdebbc90a79.png)
- 内容概述
1.环境准备
2.创建StreamSets的Pipeline流程
3.Pipeline流程测试
4.总结
- 测试环境
1.StreamSets版本为3.3.0
2.CM和CDH版本为5.12.1
3.MariaDB版本为5.5.56
2.环境准备
1.开启MariaDB的Binlog日志
修改/etc/my.conf文件，在配置文件[mysqld]下增加如下配置
server-id=1
log-bin=mysql-bin
binlog_format=ROW
（可左右滑动）
注意：MySQL Binlog支持多种数据更新格式包括Row、Statement和mix（Row和Statement的混合&#
订阅专栏 解锁全文
5368
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
