- 博客(1)
- 收藏
- 关注
原创 Logstash导入mysql数据到es慢的解决方法
有一个千万级别的数据库存放在Mysql中,由于直接在Mysql中使用语句查询,一次的时间要十几分钟,无法满足应用的需求,因此考虑将其导入到elasticsearch中进行倒排索引查询。使用的工具是Logstash,但是Logstash的导入速度随着导入数据量的增大变得越来越慢。查询后发现在数据量增大时变慢的原因是因为mysql的深度分页达到了瓶颈。因为logstash在我们自己写的的sql上又加了一层作为封装在logstash的导入conf配置文件中的statement代码SELECT * F
2021-10-18 14:43:23 2528
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人