用logstash将mysql数据同步到 elasticsearch

最近需要同步mysql数据到ES,参考了

https://blog.csdn.net/hatlonely/article/details/79945539

这篇文章,遇到几个问题

第一个是jdbc驱动路径

jdbc_driver_library => "../mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar"

这里用了相对路径,起始路径是logstash的安装目录,mysql-connector-java-5.1.46这个目录应该和logstash目录同级。

第二个问题是last_run_metadata_path同步点文件在同步多表时需要为不同的表指定

不同的文件,否则会发生冲突,造成有的表不能导入。

第三个问题是如果mysql的表里正好有名为“type”的字段,而logstash的配置文件又正好没配置

document_type字段,那么在导入的时候会根据type字段分到ES不同的类型下(困惑了好一下),

指定document_type就不会了。

展开阅读全文

没有更多推荐了,返回首页