超级会员免费看
本文介绍了在面临StreamSets数据迁移问题时，转向使用Canal进行MySQL数据库的增量数据订阅和消费。Canal是阿里巴巴的一个项目，主要用于MySQL数据库增量日志解析，支持多种语言的客户端。文中详细阐述了Canal的能力、安装过程、C#客户端的使用以及在RDS抓取时的注意事项。通过Canal，可以实现数据库镜像、实时备份、索引维护等功能，且在RDS环境中表现稳定。
目前使用StreamSets作为数据ETL工具，迁移MySql 时遇到了致命问题，大致涵盖堆栈内存溢出、找不到指定的binaryLog文件、数据重复挂起等问题，以致于在商用的时候步履维艰！项目面临严重的拖期甚至于死掉，而我作为此事情的主要执行人，也受到各方责难！我对StreamSets的信心也是与日递减，为了让事情变得可行，必须跳出原有的固有思维，先以解决问题为目的，寻找备选方案。
目的转变为： 解析MySql Binary Log 》读取更改数据》插入到其他数据库。
ooop，binary Log的格式解析，一听就不是个简单的工程啊，这，是要死的节奏吗？打开万能的github，翻翻有没有.net /.net core的项目？ 老天啊，都是java的，不管了，黑猫白猫逮住老鼠都是好猫！
接下来闪亮登场的就是阿里的亲儿子~~~
Canal
canal [kə’næl]，译意为水道/管道/沟渠
订阅专栏 解锁全文
扫一扫
3752
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
