记录一次logstash 死锁问题

最新推荐文章于 2024-06-18 13:13:50 发布
最新推荐文章于 2024-06-18 13:13:50 发布
阅读量1.3k 收藏
点赞数 1
分类专栏： logstash 文章标签： ruby-java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/no_hardsoft/article/details/51759486
版权
本文记录了一次logstash在1.5.0版本遇到的死锁问题，详细分析了问题发生的原因及场景，涉及线程间的同步与锁机制。在特定条件下，filterworker线程和flush线程因队列满和锁竞争产生死锁，导致logstash停止输入和输出数据。解决方案是升级到更高版本，或者避免单worker线程情况。
摘要由CSDN通过智能技术生成

这个问题一年前遇到，写出来mark一下

问题描述：logstash 经常在运行一小段时间内挂起，不再消费任何input数据，也不再输出任何数据。

logstash 版本：1.5.0
由于年代久远，系统的cpu状况和 io状况无法分享截图，当时查看状态为 cpu:0, io:0

下面通过ruby源码 分析这次死锁是如何发生的。
出问题的地方就在
logstash-1.5.0.rc2/lib/logstash/pipeline.rb的如下两段代码：
start_filters 将启动一个filterworker 线程（根据配置可以设置多个，这里主要讨论只有一个filterworker的情况，因为这种情况极易发生死锁），以及每隔5s 进行一次push FlushEvent 的线程

150   def start_filters
151     @filters.each(&:register)
152     @filter_threads = @settings["filter
最低0.47元/天 解锁文章
no_hardsoft
关注
专栏目录
Akka集群原理与代码实例讲解
AI天才研究院
10-13 957
引言 随着云计算和分布式系统的广泛应用，分布式计算与系统架构设计成为了现代软件开发中不可或缺的一部分。在这样的背景下， Akka（Actor-based Concurrent Model in Scala）作为一个高性能、高扩展性的分布式计算框架，逐渐受到了业界的高度关注。 本文旨在深入探讨 Akka 集群的原理与代码实例，帮助读者全面理解 A
BAT 大厂Java 面试题集锦之核心篇附参考答案
AI天才研究院
11-05 1万+
核心篇数据结构与算法网路:TCP/IP,HTTP操作系统, 文件, shell, CPU, IO, epoll, 非阻塞IO,进程/线程/协程,锁HashMap, Co...
分布式环境下flume实例的日志收集+KafkaLog4jAppender死锁问题定位及解决
小龙哥的博客
02-05 1515
分布式环境下flume实例的日志收集 KafkaLog4jAppender死锁问题定位及解决一、背景二、技术方案方案一方案二最终选型三、实施过程四、KafkaLog4jAppender死锁问题定位及解决1.问题定位2.解决方案 一、背景 目前使用flume（apache下的一个开源的顶级项目,是一个分布式,可扩展,高可用,高可靠的,轻量级数据收集框架,主要用来做数据的收集,聚合,和传输）进行日志数...
解决logstash1.4.2在windows上文件源读会对文件进行锁定的问题
知行合一
02-15 1260
解决logstash1.4.2在windows上文件源读会对文件进行锁定的问题 从github上下载useJavatoOpenFile    https://github.com/edwinf/ruby-filewatch/tree/useJavatoOpenFile wget https://github.com/jordansissel/ruby-filewatch/archive/mas
logstash 收集windows日志--解决日志不能重命名问题
weixin_34209851的博客
09-03 529
logstash 在windows中收集日志的时候，会导致写日志的程序不能进行日志的切割（windows提示，文件被占用）从github上下载useJavatoOpenFile https://github.com/edwinf/ruby-filewatch/tree/useJavatoOpenFilewget https://github.com/jordansiss...
logstash在windows上fileinput会锁定文件的问题
weixin_33979745的博客
08-27 154
2019独角兽企业重金招聘Python工程师标准>>> ...
产生死锁的原因
斜阳雨陌
02-24 342
一 竞争资源。但是资源的数目不能满足进程的
Java Log4j高并发应对策略：优化日志记录，提升系统稳定性
日志不仅记录了程序的运行状况，也帮助开发人员在开发和调试过程中快速定位问题。Log4j作为一款功能强大的日志库，在Java领域有着广泛的应用。通过灵活的配置和丰富的API，Log4j允许开发者以编程方式或通过配置文件...
2万字长文Doris运维问题大全及参考答案（持续更新）
大模型大数据攻城狮的专栏
06-18 439
Apache Doris（原Palo）是一个面向OLAP（在线分析处理）的MPP（大规模并行处理）数据库系统，专为实时分析和大数据处理场景设计。高性能分析：通过列式存储、向量化执行引擎和先进的查询优化器，Doris能够提供亚秒级的查询响应时间，特别适合复杂的分析查询。易用性：Doris支持标准SQL语法，降低了学习成本，同时提供了丰富的数据导入工具和灵活的数据模型设计，便于用户快速上手。高可扩展性：Doris采用分布式架构，可以轻松横向扩展，通过增加更多的服务器来提升数据处理能力和查询性能。高可用性。
logstash 出现的问题
为一个人走几座城
05-26 2万+
[FATAL][logstash.runner          ] An unexpected error occurred! {:error=>#<NoMethodError: undefined method `[]' for nil:NilClass>, :backtrace=>["/export/servers/logstash-6.2.2/vendor/bund...
logstash启动过慢甚至卡死
Zhang Phil
06-28 1300
logstash部署后，前几次启动时间还算正常，但是越往后启动时间越长，甚至有时候感觉卡死了一样不动，解决方法之一，修改conf文件夹下面的jvm.options里面的两个值：Xms和Xmx，默认这两个值为1g，即内存大小（v8.2.3）。如果机器物理内存空间很大，那当然这两个值设置高些最好。一般机器，可以设置成2g、4g、6g、8g等，视机器自身物理内存大小而定：......
ELK整理（Logstash）使用详解和问题解决
Cx的博客
01-04 1004
1.Logstash增量同步 2.Logstash同步mysql多数据表时到elasticsearch时数据错乱
Logstash：使用并行 Logstash 管道提高持久队列吞吐量
Elastic 中国社区官方博客
08-02 3722
默认情况下，Logstash 管道阶段（输入→管道工作器）之间使用内存中有界队列来缓冲事件。 但是，为了防止异常终止期间的数据丢失，Logstash 具有持久性队列功能，可以启用该功能以将消息队列存储在磁盘上。 队列位于输入和过滤器阶段之间，如下所示： input → persistent queue → filter + output 根据持久队列博客文章，Logstash 持久队列应该对整体吞吐量产生很小的影响。 尽管对于管道受 CPU 约束的用例通常是这样，但在其他情况下，持久队列可能会导致 L
Logstash瓶颈定位
赵子的博客
11-18 1979
先不用修改worker数量pipeline.workers(-w)，而是先一次修改一个参数，从而确定问题参数 检查列表： 1. 检查输入源和输出点 消费的速度受限于input源服务的速度；生产的速度受限于output端的速度； 2. 检查系统性能 CPU 关注CPU是否占用很高；top -H 如果CPU占用高，检查JVM堆进行调优 内存 Logstash运行在Java VM上，Logstas...
Logstash系列：支持的路径输入格式
NIO4444
01-11 421
/var/log/**/*.log /path/to/logs/{app1,app2,app3}/data.log
一个由阻塞队列引发的类死锁案例
no_hardsoft的专栏
06-28 2090
之所以说是类死锁，因为发生的现象几乎与死锁相同，程序将一直阻塞下去，但是又没有形成环路。本次介绍案例中，是阻塞队列引起的。 阻塞队列有一个特点： 队列满时， 往队列放入元素会被阻塞； 队列空时， 从队列取出元素会被阻塞。假设有一个共享阻塞队列，和一把锁lock。 生产和消费线程。 我们分析一下下面的场景： 1 生产线程 持有lock ，开始向队列push数据（此时未执行push）； 2
logstash+grok+json+elasticsearch解析复杂日志数据(一)
热门推荐
cuixuange的博客
11-25 2万+
这几天学习了logstash写配置文件conf解析包含部分json数据格式的日志数据，并在elasticsearch以及kibana进行直观的数据浏览。对于logstash有了更加深入的了解，logstash在运维方面是开源的日志收集框架，其中包含了许多插件，下载的时候就包含在其中了，比较常用的有输入插件，输出插件，codec编码插件，filter过滤器插件，输出插件等等，甚至还有许多美未能进入官
Logstash系列：过滤器filter之 mutate写法
NIO4444
01-11 1208
filter { mutate { # Renames the 'HOSTORIP' field to 'client_ip' rename => { "HOSTORIP" => "client_ip" } } }
logstash处理解析失败的数据,不写入数据库或elasticsearch
weixin_43662454的博客
11-26 2055
filter { dissect{ mapping => { "message" => "%{clientip} - - [%{time_local}] %{request} %{url} " } } if "_dissectfailure" in [tags] { drop {} } } 使用dissect做解析匹配或者grok解析失败写入数据源,...
logstash定时同步问题
最新发布
10-26
Logstash是一个强大的日志管理和数据管道工具，常用于Elasticsearch、Kafka等数据存储系统之间的数据传输。关于定时同步的问题，一般有以下几种处理方法： 1. **配置文件设置**：在Logstash的配置文件中，可以使用`schedule`插件或`inputs`下的`stdin_type`选项，结合`cron`表达式来定期读取输入源的数据，例如每隔5分钟或每天某个固定时间。 ```yaml input { stdin { type => "your_data_type" schedule => "* * * * *" # cron语法，如每5分钟运行一次：*/5 * * * * } } ``` 2. **使用脚本调度**：如果你的环境支持外部命令调度，如Linux的`crontab`，你可以编写一个shell脚本来启动或管理Logstash服务，并设置相应的定时任务。 3. **集成系统监控工具**：很多云服务商提供日志管理和数据同步服务，如阿里云的DataWorks，可以直接设置数据同步的时间点。 4. **第三方插件**：除了内建的`schedule`插件，还可以使用如`logstash-output-s scheduled`这样的第三方插件，它们提供了更丰富的定时策略。 遇到定时同步问题时，可能会遇到的问题包括：时间设置不准确、网络不稳定导致数据丢失、定时任务未按预期启动等。解决办法通常涉及检查配置、调整定时计划并确保系统的可用性和容错能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值