es导入json数据_Mysql 同步数据到 Elasticserach（使用logstash-input-jdbc）

业务中遇到一起商务结算的大量数据（3亿）业务，需要查询响应能快，准备动用ES，这里先完成一个初级作业。

Mysql容易搭建，这里不作复述。

需要个ES-kibana的环境，从系统开始搭建过程太冗长，这里继续享受docker。 windows环境的docker怎么配置，windows环境下 docker部署：

Windows使用WSL2安装Docker​www.jianshu.com

推荐一个镜像，包含了kibana：elasticsearch-kibana

拉取改镜像：docker pull nshou/elasticsearch-kibana

启动该镜像：docker run -d -p 9200:9200 -p 5601:5601 nshou/elasticsearch-kibana

其中 9200是ES的端口，5601是kibana的端口。

容器内运行成功：

http://127.0.0.1:9200/ 有如下内容说明ES启动正常：

http://localhost:5601/app/kibana#/home 有如下内容说明kibana启动正常：

同步使用logstash-input-jdbc，其中遇到一堆坑，主要参照如下：

https://blog.csdn.net/qq_16436555/article/details/91360718

https://www.elastic.co/guide/en/logstash/current/index.html

https://www.elastic.co/cn/blog/logstash-jdbc-input-plugin

https://www.cnblogs.com/wueryuan/p/13226469.html

为调试方便，把logstash装在win环境里：

1、先下载https://artifacts.elastic.co/downloads/logstash/logstash-7.8.0.zip

2、在bin路径下面执行命令logstash-plugin.bat install logstash-input-jdbc 安装。比如C:eslogstash-7.8.0bin 中间如果遇到java找不到，就在setup.bat首行加路径，比如SET JAVA_HOME=C:Program FilesJavajdk1.8.0_251

3、bin路径下面建文件夹sync-conf，这个里面又同步sql文件和配置文件，只要路径对，放哪里都可以，这里已bin下作示例：

4、内包含如下文件：

5、关键的配置文件sync.conf在启动命令行中需要用到：

如果数据库中的字段类型是json或string类型，但其中是json结构体，可以通过如下filter同步至es，直接变成结构体：

filter {
      json {
        source => "extcol"
        target => "extcol_obj"
        remove_field => ["extcol"]
      }
    }

其中extcol是string字段名。

logstash 支持秒级 ：下面是每5秒同步一次

schedule => "*/5 * * * * *"

这里使用一个简单的Mysql数据做同步源头，上图中选中部分。

6、sync.sql里放置数据查询语句，这里可以写的非常复杂，可以联查，作为示例简单处理：

7、启动同步，在bin目录下，命令行为 .logstash.bat -f sync-confsync.conf

周期性刷新数据说明启动运行正常：

实际效果很明显：

首先查询数据库里的数据：

查询ES中的数据，内容一致：

更新数据库内的数据，查询ES中的数据，数据保持同步。

至此Mysql向ES的最基本的数据同步已实现。

转载请注明出处。

微服务拆分方法论请移步：

丁云：奇技淫巧之CQRS：系统微服务拆分时的数据解耦​zhuanlan.zhihu.com

JDBC SQL 如何操作 ES，请移步：

丁云：X-PACK JDBC连接ElasticSearch Docker图文版​zhuanlan.zhihu.com

Mycat对Mysql分片分库请移步：

丁云：Mycat 一致性hash分库（Mysql）​zhuanlan.zhihu.com