关于 ELK 环境中 logstash 报【Could not index event to Elasticsearch. {:status=＞400...】问题处理记录

背景

最近公司决定将后台输出日志分类存储到es 同时做前台查询展示功能；三类日志JSON数据结构相同；技术选型理所当然的选了elk 因为公司已有其他项目再用，并且环境已搭建好（but 没有开发环境，只能自己在windows 上安装 win 版elk 还算顺利）。
数据流向：
filebeat=》logstash=》elastic

问题出现

当环境装好，接通电源跑其系统，日志开始输出；但是奇怪的现象出现了，es接受到的数据总是丢失某一类数据。

查找思路

• 首先查看收集器 filebeat 是否收集到全量日志
  配置filebeat.yml 中 output 开启 console 模式输出；并跟踪日志输出，发现日志输出完整。

• 其次查看logstash输出，这时候 配置 logstash.conf 将日志输出到file 发现日志输出也是完整的（不可思议）

• 一度怀疑es 有问题，一番折腾发现并不是。

• 又仔细根据数据路径找了一遍，发现logstash 的console 后台有个400字样具体是 “Could not index event to Elasticsearch. {:status=>400…”最后一句讲有个key的值type不对无法插入；这时候翻过代码仔细一看原来是同构的json类型中，有个key 插入数据类型不一致后，有一类插入了 jsonarray，其他两类则转了字符串插入造成该问题。

问题总结

es 同一个index 中，某个key 会在第一条记录文档存入时默认设定类型；后续再插入记录，类型必须保持一致；这是一个很基础的bug，与君共勉。。。。