ElasticSearch作为搜索引擎与Oracle数据库做数据同步的解决方案

一、使用Logstash做ES与Oracle数据的增量和全量同步

使用工具是logstash6.2.4，下载链接开源搜索：Elasticsearch、ELK Stack 和 Kibana 的开发者 | Elastic。

首先要知道的是logstash做同步，都会用到 logstash-input-jdbc这个插件，并且关键有两个文件logstash.conf 和logstash.sql ，还有就是logstash抽取Oracle的数据是通过追踪某一个递增列实现增量导入的，所以就要求在查询结果有一个递增列，这并不是说需要一个自动增长列，因为在Oracle中，rownum可以作为查询结果中的一个递增列，如

SELECT * FROM(SELECT NP.*, ROWNUM RN FROM (SELECT * FROM NPMIS_ZW_YSDFMX) NP ) WHERE RN BETWEEN 5000001 AND 6000000;

所以logstash可以追踪rownum来增量导入。