【elasticsearch 】logstash elasticsearch output plugin 的阻塞问题

问题描述：

在使用logstash向elasticsearch写入数据时,如果写入的索引已经被es关闭，logstash会阻塞住，es输出插件会无限重试这些有问题的数据。

问题版本信息：

• logstash 版本：5.6.8
• logstash-output-elasticsearch：7.4.2
• elasticsearch版本: 5.6.8

这个问题发生的原因是什么？

先来看下异常的输出：

[logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"index_closed_exception", "reason"=>"closed", "index_uuid"=>"xxxx", "index"=>"xxxx"})

注意response code 403,这是关键。仔细读下logstash-output-elasticsearch 5.6 文档，在重试策略中有关于这个问题的描述:

对批量API的HTTP请求,返回200响应代码表示成功。所有其他响应代码将无限期重试,但是其中 400,404和409是特殊的:

• 如果启用死信队列（DLQ），则将400和404错误发送到DLQ。否则，打印日志消息，并且将删除该事件。
• 409错误（冲突）被记录为警告并被删除。

到这就找到了原因，elasticsearch 针对 index_closed_exception返回的是403。从而导致了无限重试。

在后续的测试中，如果将elasticsearch升级到6.8.0，index_closed_exception返回的错误码将是400，避免了这一问题。