logstash同步mysql数据失败

 

问题描述

前提：

项目采用Elasticsearch提供搜索服务，Mysql提供存储服务，通过Logstash将Mysql中数据同步到Elasticsearch。

 

问题：

使用logstash-jdbc-input插件同步Mysql中的两张表时，一张表的数据完整的存到了ES中，而另一张表没有任何数据插入

原因分析

1、查询语句错误，将语句放入命令行中查询，查询成功，排除

2、jdbc插件只支持一次查询，经网上搜索资料，确认jdbc可以并发执行多次查询

3、对比两张表结构，对比过程中发现无数据插入的那张表中存在"type"字段，想到jdbc插件中有关键字“type”，用来命名索引下的类型，猜测是因为这个原因导致数据无法插入，经验证，确实如此。

解决方案

修改表中“type”字段名为"category"，重新执行查询，成功。

 

转载于:https://www.cnblogs.com/yourstars/p/10563694.html