logstash 执行grok超时，cpu使用率很高

转载：http://blog.wuliwala.net/2017/03/16/logstash-cpu-percent-100/

CPU使用100%的情况：
/etc/init.d/logstash中有一行nice=19
在系统中使用top命令会看到CPU每个核心使用率100%。按1键会看到，并不是%us高，而是100%ni。

Timeout executing grok '%{NGINXMAIN}' against field 'message' with value 'Value too large to output (587 bytes)! First 255 chars are:

Timeout executing grok '%{NGINXMAIN}' against field 'message' with value '

这两个错误绝对不是超时，而是正则表达式没匹配。

当我把问题解决完之后，才发现，CPU使用率高的最终原因是传来的日志格式不能匹配，所以grok就会找默认的n多正则，一直到超时(貌似默认30秒)，这个时间内CPU就会特别繁忙。

总结:

1. 当你无法确认所接受到的数据都能在你的自定义正则匹配时，建议删除grok插件自带的正则模板
2. 写正则表达式时，多思考，要兼容意外情况。