failed to execute pipeline for bulk

于 2023-10-08 15:10:18 发布
阅读量157 收藏
点赞数
文章标签： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59489713/article/details/133682466
版权
文章探讨了一种技术问题，即55节点在执行批量处理时频繁掉线，原因可能是ES写入侧数据推送过快超出其处理能力。解决策略包括调整数据大小和频率，增加内存，以及检查线程池设置。作者还提到可能需要减少切割者数量以降低消息推送量，但对问题根源仍需进一步排查。
摘要由CSDN通过智能技术生成

然后55节点总是掉线 

翻译过来是就是     未能执行批量处理的管道
 

问题分析：

查报错日志推断是写入侧推送数据过快，ES处理能力不足导致！

解决办法：

  1. 常规场景下应该下调往ES推送的数据大小或频率。

  2. 增大ES的内存，现场距离ES内存峰值30GB仍有很大空间。

  3. 考虑线程池过小导致，参考后面章节。

减少切割者数量   让消息数推送量变少

但是总觉得哪里不对   先跑跑看吧    为啥只是这一台掉线呢

小狼嚎月
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【es-未解决】es 报错 failed to process cluster event (put-mapping) within 30s
九师兄
03-09 3740
1.概述 org.elasticsearch.cluster.metadata.ProcessClusterEventTimeoutException: failed to process cluster event (put-mapping) within 30s at org.elasticsearch.cluster.service.MasterService$Batcher.lambda$onTimeout$0(MasterService.java:127) ~[elasticsearch-6.8
java bulk_Elasticsearch Java High Level REST Client（Bulk API）
weixin_42400074的博客
02-20 766
Bulk APIJava High Level REST Client提供了Bulk处理器来帮助处理批量请求。Bulk请求BulkRequest可以使用一个请求执行多个索引、更新和/或删除操作。它需要在批量请求中添加至少一个操作：BulkRequest request = new BulkRequest();request.add(new IndexRequest("posts").id("1")...
Failed to execute action {:action=＞LogStash::PipelineAction::Create/pipeline_id:main, :exception=＞“L
学习笔记。
08-13 1万+
启动logstash的配置文件logstash.conf文件时报错。 出现此问题的原因是logstash.conf，大多都是粗心引起的拼写问题，返回检查一遍自己的.conf文件将错误修改掉重新启动即可。 亲测
ES集群异常处理和进阶实践
大数据，Linux，服务器，技术、架构，方案
10-11 1876
2.x版本可API动态设置，在ES 5版本之后就不能动态设置这些参数了，通过修改ES主配置文件，然后重启ES生效。ES关于网络的配置参数丰富繁杂（它们都不是可动态更新的），ES双网分离场景的最佳实践是ES集群内部采用万兆-业务网，对外服务则双网都通，有管理及合规要求时按照要求设置单一网络。略微下调主分片个数使其均匀分布（10 -> 8），将索引的副本数从1减为0，相当于写入压力减少一半，至此现场问题解决，没再出现上述报错。如果有集群管理，从集群页面的自定义配置中添加，保存，最后重启ES集群。
Elasticsearch 线程池和队列问题，请先看这一篇
热门推荐
铭毅天下Elasticsearch
03-01 1万+
1、线程池相关线上实战问题问题1：从Kafka消费数据导入 elasticsearch 时，批量 bulk 写入抛异常被拒绝。ES 集群四个节点，其中：两个节点node1和node4 th...
Elasticsearch6.4专题之杂记:遇到的异常与解决方案2
天空之蓝的博客
07-27 6586
11、lucene.util.BytesRefHash$MaxBytesLengthExceededException: bytes can be at most 32766 in length; got 56965 解决方案 设置keyword字段的ignore_above为3276512、[ERROR][o.e.a.b.TransportBulkAction] [node-1] failed to execute pipeline for a bulk request org.elasticsearch
将logstash与elasticsearch性能匹配的几点尝试
u013905744的专栏
06-22 1万+
背景公司的测试环境4核8G内存，安装部署ELK技术栈elastic search6.2.4 分配4G内存空间kibana 6.2.4logstash 6.2.4并集成了xpack发生性能不匹配问题结果在对一个表（数据大约80000条）进行全表建索引的时候：（全表建索引的逻辑是logstash使用logstash-jdbc-input从mysql表中根据jdbc_page_size来更新相应大小行数...
ESdata节点脱离集群，系统日志报120秒超时
WGH100817的博客
05-13 781
ES信息：Centos7.2，ES6.2.2 , MASTER:16核/128G物理 * 3 ，DATA：16核/128G/12块HDD6T组成RAID0 * 40, JVM开了30G, 目前只有一个索引，每天10T（算上副本），分片160，副本1，保留7天】 故障描述：某一个节点（随机）总是无缘无故的脱离集群，节点l...
【elasticsearch】elasticsearch源码分析二：bulk请求写入流程
jing_flower的博客
02-17 2705
bulk请求写入流程源码
News Pipeline
anqi3776的博客
12-25 847
News PipelineReal Time News Scraping and Recommendation SystemBuilding RecordPOST DesignReact Frontend UINodeJS Web ServerRestFul API features (By Routing)Frontend and Backend Http Protocol(RESTful API)Backend - SOA (Service Oriented Architrcture) DesignBa
ES BulkRequest 写入索引数据失败排查和解决
小杨互联网
08-18 5743
1，查看我们的索引mapping有没有问题，是不是索引的数据格式导致我们数据写入不进去，基本上百分之九十就是这个问题，但是我们的并不是。我们的日期格式在es是yyyymmdd hhmmss格式但是这里是个时间蹉格式，肯定就不对了，但是你会说我jsonfamart也不行吗？这样也不行，我序列化的时候tostring不行吗，答案是不行的，只有在序列化的时候转换一下。问题场景：1，使用BulkRequest写入索引数据不生效，接口正常返回，索引没有数据。这个错就很明显了我们的时间格式不对对不对，咋解决呢？...
jenkins 构建Pipeline失败 Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compi
gogo_b的博客
09-21 1851
jenkins 构建Pipeline失败 Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compi
求助logstash的问题
Jennyheimei的博客
03-05 9893
请问一下为什么它老是说第三行报错，第三行也没做什么呀Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Expected one of #, input...
ES5.6.4源码解析--批量索引bulk
qqqq0199181的博客
08-28 1942
引言 ES的批量索引操作，可以把多条索引请求合成一次请求，每个请求可以指定不同的索引。当往ES中索引大量数据的时候，使用批量索引能够大大增加索引的数据。接下来让我们通过阅读批量索引的源码来揭开其神秘的面纱。 索引请求的预处理 批量索引的入口位于TransportBulkAction#protected void doExecute(Task task, BulkRequest bulkR...
Elastischearch bulk请求源码分析 1.0
Dylan的技术博客
07-03 1410
elasticscher 2.3.3 接受bulk请求到写入index流程解析
Failed to execute
我的博客
03-25 1万+
今天用dev c++无论打编译什么都是出现如下结果： 后来终于找到解决办法了: 原来是这里出现问题了，我的电脑是32位的，必须也是32位的编译系统。否则不管输入什么都是上面的结果； 所以以后不管下载软件还是编译东西第一步一定要看自己电脑系统的位数。 ...
maven项目启动报错：Failed to execute goal......
LeavingGoose的博客
07-17 3759
Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.3:compile (default-compile) on project jeeplus: Fatal error compiling: 无效的目标版本： 1.7 -> [Help 1] 原因：jdk版本不匹配 解决方法：将jdk版本升级到1.7即
failed to execute bulk item (update) BulkShardRequest
最新发布
03-29
2. Authentication/authorization issues: If the user does not have the necessary permissions to execute the bulk update request, it may fail. 3. Data validation errors: If there are errors with the ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值