使用logstash和RabbitMQ增量同步数据库数据到Elasticsearch

最近在写一个电商项目，在项目中用到了Elasticsearch 6.3.0做搜索商品相关的功能，其中使用了ES插件logstash做数据同步。但是网上大部分都写的是使用logstash做全量同步，用sql将需要查询的数据查出来之后全量同步至ES中，可以设置定时同步任务，但是这种同步方式比较耗性能，网上还有介绍使用logstash做增量同步的，基本上是记录上次同步时间或者最后一条数据的id,然后下次同步时，只需将大于最后一条id的数据同步到ES即可，但这种方式存在一个缺陷——就是之前同步过的数据如果发生了修改便不能在增量同步中发生修改操作。

       于是寻找适合自己的同步方式，项目有用到另一个工具——RabbitMQ，熟悉这个组件的朋友也许知道这是做消息队列的，我们项目使用此组件做即时通讯的消息异步发送并保存消息至数据库，还有订单的一些延时操作，如：订单定时取消，订单定时好评，商品定时上传之类的，在这里做商品数据的同步也是看中其异步操作性能，下面详细介绍我在项目中使用logstash和RabbitMQ做数据同步的一些流程。

      elasticsearch如果要忽略大小写的话，需要在创建索引的时候设置所有的字母都转为小写，如：

"settings": {
        "index": {
            "number_of_shards": "5",
            "number_of_replicas": "1"
        },
        "analysis": {
            "analyzer": {
                "caseSensitive": {
                    "filter": ["lowercase", "asciifolding"],
                    "type": "custom",
                    "tokenizer": "keyword"
                }
            }