超级会员免费看
本文介绍了多种MySQL到Elasticsearch的数据同步方案，包括同步读写、异步双写、定时器程序、binlog日志等。重点讨论了使用logstash-input-jdbc插件实现全量和增量同步，详细阐述了配置与测试过程，以及在大规模数据同步中遇到的问题和解决方案。测试环境中，成功同步近千万条数据。
同步方案：
- 同步读写：最为简单的方式在将数据写到mysql时，同时将数据写到ES，实现数据的双写。
- 异步双写(MQ方式)：MQ的性能基本比mysql高出一个数量级，所以性能可以得到显著的提高。
- 定时器程序：相关表中增加一个字段为timestamp的字段，任何crud操作都会导致该字段的时间发生变化，原来程序中的CURD操作不做任何变化；增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取出来；逐条写入到ES中。
- binlog日志：读取mysql的binlog日志，获取指定表的日志信息。将读取的信息转为MQ，编写一个MQ消费程序，不断消费MQ，每消费完一条消息，将消息写入到ES中。
- logstash全量、增量同步解决方案：
logstash-input-jdbc插件，能实现mysql数据全量和增量的数据同步,且能实现定时同步，版本更新迭代快,相对稳定。作为ES固有插件logstash一部分,易用 - go-mysql-elasticsearch：其由go语言开发
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
