mysql数据实时同步到elasticsearch

https://www.jianshu.com/p/db9c9108c09a

 

elasticsearch

要求

  • 全量数据同步
  • 增量实时同步

关注指标

  • 数据丢失
  • 消息延迟

方案

方案一

使用elasticsearch-jdbc,独立的第三方工具

通过SQL语句进行全量和增量同步

Elasticsearch-JDBC暂时还不支持Elasticsearch 5.0
https://github.com/jprante/elasticsearch-jdbc/issues/915

https://github.com/jprante/elasticsearch-jdbc/tree/master

方案二

logstash-jdbc,logstash官方插件

通过SQL语句进行全量和增量同步

https://www.elastic.co/blog/logstash-jdbc-input-plugin

方案三

go-mysql-elasticsearch第三方开源项目

通过同步Mysql的binlog日志进行增量同步

https://github.com/siddontang/go-mysql-elasticsearch

参考

同步 MySQL 数据到 Elasticsearch

elasticsearch-jdbc实现MySQL同步到ElasticSearch深入详解

MySQL到Elasticsearch的同步之路

INSERT INTO LOGSTASH SELECT DATA FROM DATABASE

展开阅读全文

没有更多推荐了,返回首页