qq_38798909的博客

原创 Logstash导入mysql数据到es慢的解决方法

有一个千万级别的数据库存放在Mysql中，由于直接在Mysql中使用语句查询，一次的时间要十几分钟，无法满足应用的需求，因此考虑将其导入到elasticsearch中进行倒排索引查询。 使用的工具是Logstash，但是Logstash的导入速度随着导入数据量的增大变得越来越慢。查询后发现在数据量增大时变慢的原因是因为mysql的深度分页达到了瓶颈。因为logstash在我们自己写的的sql上又加了一层作为封装 在logstash的导入conf配置文件中的statement代码 SELECT * F