项目中的日志使用kafka发送,由ES进行消费,最后由kibana进行展示,但是三条数据,中间有两条在kibana上能够找到,还有一条死活找不到、
最开始怀疑是不是kafka的配置有问题,毕竟这一条是在另外一个组件中,然后下载了kafka的可视化工具kafka tool,在里面成功的找到了三条发送的数据,证明kafka的消息是发送成功了的。
然后继续看ES的日志,果然发现报错了:failed to execute bulk item (index) index {[logstash-wallet-api-2020.09.24][doc][JBTGvnQBOQlyxQSyuApd], source[n/a, actual length: [3.1kb], max length: 2kb]}
最开始以为这是因为超过了ES的设置长度,百度了下才知道,这个错误并不是超过长度,而是指超过了2KB就不把具体的doc的信息在日志中展示,bulk失败的信息需要查看日志中后面的异常信息,一般是字段解析失败或者是bulk队列满导致的。
因为是在开发环境,请求并不频繁,基本上一分钟就那么几次请求而已,队列满的可能性比较小,所以猜测是不是字段解析失败了。
然后再分析打印的日志,
项目中的日志使用kafka发送,由ES进行消费,最后由kibana进行展示,但是三条数据,中间有两条在kibana上能够找到,还有一条死活找不到、 最开始怀疑是不是kafka的配置有问题,毕竟这一条是在另外一个组件中,然后下载了kafka的可视化工具kafka tool,在里面成功的找到了三条发送的数据, |