Elasticsearch出现错误source[n/a, actual length: [3.1kb], max length: 2kb]}

项目中的日志使用kafka发送,由ES进行消费,最后由kibana进行展示,但是三条数据,中间有两条在kibana上能够找到,还有一条死活找不到、

最开始怀疑是不是kafka的配置有问题,毕竟这一条是在另外一个组件中,然后下载了kafka的可视化工具kafka tool,在里面成功的找到了三条发送的数据,证明kafka的消息是发送成功了的。

 

然后继续看ES的日志,果然发现报错了:failed to execute bulk item (index) index {[logstash-wallet-api-2020.09.24][doc][JBTGvnQBOQlyxQSyuApd], source[n/a, actual length: [3.1kb], max length: 2kb]}

 

最开始以为这是因为超过了ES的设置长度,百度了下才知道,这个错误并不是超过长度,而是指超过了2KB就不把具体的doc的信息在日志中展示,bulk失败的信息需要查看日志中后面的异常信息,一般是字段解析失败或者是bulk队列满导致的。

因为是在开发环境,请求并不频繁,基本上一分钟就那么几次请求而已,队列满的可能性比较小,所以猜测是不是字段解析失败了。

然后再分析打印的日志,

项目中的日志使用kafka发送,由ES进行消费,最后由kibana进行展示,但是三条数据,中间有两条在kibana上能够找到,还有一条死活找不到、

最开始怀疑是不是kafka的配置有问题,毕竟这一条是在另外一个组件中,然后下载了kafka的可视化工具kafka tool,在里面成功的找到了三条发送的数据,

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值