log4j deadlock

最新推荐文章于 2024-01-19 20:18:56 发布
最新推荐文章于 2024-01-19 20:18:56 发布
阅读量88 收藏
点赞数
文章标签： java 网络
原文链接：http://www.cnblogs.com/AloneSword/p/4894055.html
版权

用了这么久的Log4j这次倒下了，而且官方也还没有给出解决方案。

描述：tomcat 经过一天多时间的访问，出现了hang ，使用 Jstack 查看堆栈后，发现现成 blocked ，主要是 Log4j 的ROOTlock了。

"http-nio-2180-exec-9" #35 daemon prio=5 os_prio=0 tid=0x0000000021a8b000 nid=0x12a8 runnable [0x000000002e5ee000]
   java.lang.Thread.State: RUNNABLE
    at java.io.FileOutputStream.writeBytes(Native Method)
    at java.io.FileOutputStream.write(Unknown Source)
    at java.io.BufferedOutputStream.write(Unknown Source)
    - locked <0x00000006c0cf7380> (a java.io.BufferedOutputStream)
    at java.io.PrintStream.write(Unknown Source)
    - locked <0x00000006c0cf7360> (a java.io.PrintStream)
    at org.apache.tomcat.util.log.SystemLogHandler.write(SystemLogHandler.java:172)
    at sun.nio.cs.StreamEncoder.writeBytes(Unknown Source)
    at sun.nio.cs.StreamEncoder.implFlushBuffer(Unknown Source)
    at sun.nio.cs.StreamEncoder.implFlush(Unknown Source)
    at sun.nio.cs.StreamEncoder.flush(Unknown Source)
    - locked <0x00000006c0eb2428> (a java.io.OutputStreamWriter)
    at java.io.OutputStreamWriter.flush(Unknown Source)
    at org.apache.log4j.helpers.QuietWriter.flush(QuietWriter.java:59)
    at org.apache.log4j.WriterAppender.subAppend(WriterAppender.java:324)
    at org.apache.log4j.WriterAppender.append(WriterAppender.java:162)
    at org.apache.log4j.AppenderSkeleton.doAppend(AppenderSkeleton.java:251)
    - locked <0x00000006c0eaf3b8> (a org.apache.log4j.ConsoleAppender)
    at org.apache.log4j.helpers.AppenderAttachableImpl.appendLoopOnAppenders(AppenderAttachableImpl.java:66)
    at org.apache.log4j.Category.callAppenders(Category.java:206)
    - locked <0x00000006c0ea85c8> (a org.apache.log4j.spi.RootLogger)
    at org.apache.log4j.Category.forcedLog(Category.java:391)
    at org.apache.log4j.Category.log(Category.java:856)
    at org.apache.commons.logging.impl.Log4JLogger.debug(Log4JLogger.java:155)
    at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:861)
    at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:966)
    at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:857)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
    at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:842)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:291)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
    at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:239)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
    at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:85)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:239)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
    at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:219)
    at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:106)
    at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:502)
    at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:142)
    at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:79)
    at org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:617)
    at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:88)
    at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:518)
    at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1091)
    at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:668)
    at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1527)
    at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1484)
    - locked <0x00000006c27752a8> (a org.apache.tomcat.util.net.NioChannel)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
    at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
    at java.lang.Thread.run(Unknown Source)

 

被锁住的线程堆栈：

"http-nio-2180-exec-10" #36 daemon prio=5 os_prio=0 tid=0x0000000021a8c000 nid=0xcfc waiting for monitor entry [0x000000002e49e000]
   java.lang.Thread.State: BLOCKED (on object monitor)
    at org.apache.log4j.Category.callAppenders(Category.java:204)
    - waiting to lock <0x00000006c0ea85c8> (a org.apache.log4j.spi.RootLogger)
    at org.apache.log4j.Category.forcedLog(Category.java:391)
    at org.apache.log4j.Category.log(Category.java:856)
    at org.apache.commons.logging.impl.Log4JLogger.debug(Log4JLogger.java:155)
    at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:861)
    at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:966)
    at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:857)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
    at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:842)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:291)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
    at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:239)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
    at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:85)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:239)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
    at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:219)
    at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:106)
    at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:502)
    at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:142)
    at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:79)
    at org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:617)
    at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:88)
    at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:518)
    at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1091)
    at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:668)
    at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1527)
    at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1484)
    - locked <0x00000006c2723a10> (a org.apache.tomcat.util.net.NioChannel)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
    at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
    at java.lang.Thread.run(Unknown Source)

查了很多资料，比较全的是这个老兄回答的：

http://stackoverflow.com/questions/3537870/production-settings-file-for-log4j/

第一个回答的截取在这里，备份下，解决方案他也提到了，不过只是减缓，没有完全解决。

Log4j 1.2 is vulnerable to deadlocks when toString() produces nested logging.

See old aged still unresolved issues like Log4J can create deadlock conditions (concurrent package donation) and Deadlock with RollingFileAppender.

It also has performance-killing lock synchronization issues under heavy concurrent load. LikeCategory callAppenders synchronization causes java.lang.Thread.State: BLOCKED and Move org.apache.log4j.Category to reentrant read/write locks.

Even AsyncAppender is not free of excessive locks: AsyncAppender.doAppend() does not need to be synchronized and Deadlock in 1.2.15 caused by AsyncAppender and ThrowableInformation classes. Also beware of AsyncAppender overflow.

One caveat is to always constrain root category level to at least INFO or higher. This would prevent logging calls from acquiring unnecessary locks mentioned in the above issues. Just limiting appender threshold is not sufficient as it is taken into account later. See explanation with publish/subscribe analogy. Nested categories of interest can be individually given lower priorities if needed.

 

转载于:https://www.cnblogs.com/AloneSword/p/4894055.html

weixin_30239339
关注
Log4j 1.x版 引发线程blocked死锁问题
zl378837964的专栏
05-10 5465
Apache Log4j是一个基于Java的日志记录工具，用起来非常方便，但是Log4j 1.x如果使用不慎，会引起死锁问题，进行导致整个网站的宕机 示例如下： log4j 配置 &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;!DOCTYPE log4j:configuration PUBLIC "-...
log4j 多线程死锁问题_Log4j线程死锁–案例研究
最佳 Java 编程
06-04 1781
log4j 多线程死锁问题 此案例研究描述了影响Weblogic Portal 10.0生产环境的Apache Log4j线程争用问题的完整根本原因分析和解决方案。 它还将展示在开发和支持Java EE应用程序时适当的Java类加载器知识的重要性。 本文也是您提高线程转储分析技能和了解线程竞争条件的另一个机会。 环境规格 Java EE服务器：Oracle Weblogic Por...
Log4J blocked 问题
zj380475045的博客
01-11 1万+
链接转载：http://www.cnblogs.com/suxuan/p/5041420.html "qtp1056944384-232" prio=10 tid=0x00007f54900d0800 nid=0x63b3 waiting for monitor entry [0x00007f54492d0000] java.lang.Thread.State: BLOCKED (
Log4j blocked 线程阻塞问题
zollty的专栏
08-29 4413
我的zoa项目中，一直使用的是log4j 1.x版本，由于简单，一直没更换，也没怀疑过它的问题。 偶尔有两次，zoa在使用过程中假死的情况，不能响应任何请求，包括正常的关闭都无法进行。 于是我使用 jvm工具分析了JVM的情况，最终定位为 log4j引起的线程 blocked，不算是死锁，但是所以请求都会调用log4j，而log4j又无法正常执行，所以 所有请求都会 block。线程堆栈信息片段 形如： "qtp1056944384-232"prio=10tid=0x00...
日志-线程Block-Log4j2-美团技术团队
最新发布
Java程序员的知识博客
01-19 985
日志对程序的重要性不言而喻。它很“大”，我们在项目中经常通过日志来记录信息和排查问题，相关代码随处可见。它也很“小”，作为辅助工具，日志使用简单、上手快，我们通常不会花费过多精力耗在日志上。但看似不起眼的日志也隐藏着各种各样的“坑”，如果使用不当，它不仅不能帮助我们，反而还可能降低服务性能，甚至拖垮我们的服务。日志导致线程Block的问题，相信你或许已经遇到过，对此应该深有体会；或许你还没遇到过，但不代表没有问题，只是可能还没有触发而已。本文主要介绍美团统一API网关服务Shepherd（参见。
log4j缓冲的配置
iteye_5095的博客
08-28 580
log4j的性能瓶颈定位与性能优化（org.apache.log4j.spi.RootLogger）     最近执行一个项目调优，发现使用第三方的Json库导致性能差。原以为问题就这么定位到了，结果去掉Json操作后，性能也不见好转。     现象非常诡异：CPU、内存、网络、磁盘使用率均有剩余，而且压力也是足够的。即使施加更大压力，吞吐量也不见好转。     于是监控了一下Java进程状态...
java log4j 异步_log4j2异步日志解读（一）AsyncAppender
weixin_32673065的博客
02-24 1170
log4j、logback、log4j2 历史和关系，我们就在这里不展开讲了。直接上干货，log4j2突出于其他日志的优势，异步日志实现。看一个东西，首先看官网文档，因为前面文章已经讲解了disruptor源码，本文主要展开说说异步日志AsyncAppender和AsyncLogger(基于disruptor实现)。一、AsyncAppender我们先来看看AsyncApperder核心，就是l...
妈妈再也不用担心我搞不懂——log4j/logback/log4j2原理了
Saintyyu的博客
12-02 766
本文深入浅出地介绍log4j、logback、log4j2的核心原理，通俗易懂。
MySQL DeadLock
Inspired Rocks
12-10 832
mysql for update, unique index, deadlock, concurrent insert
log4j的性能瓶颈定位与性能优化（org.apache.log4j.spi.RootLogger）
欧程部落
07-20 7301
log4j的性能瓶颈定位与性能优化（org.apache.log4j.spi.RootLogger） 转自：http://hi.baidu.com/higkoo/item/70770834426247483075a1ce 最近执行一个项目调优，发现使用第三方的Json库导致性能差。原以为问题就这么定位到了，结果去掉Json操作后，性能也不见好转。      现象非常诡异：CPU、内存
高并发下log4j的性能瓶颈
weixin_33725272的博客
01-22 1509
开篇  近期由于业务需要进行业务迁移，期间因为误设置log4j的日志级别，导致系统性能整体下降，具体表现在QPS下降明显，系统RT上升。迁移期间由于各类系统环境较原来有较大差别，因为在排查过程中也走了一些弯路，总结起来避免他人再次踩坑。 问题背景  问题的背景其实很简单，线上系统的log4j的日志级别由warn调整为info，导致大量的调用log4j的...
使用apache log解决高并发下log4j引起大量线程block问题
热门推荐
Mr_Smile2014的博客
09-01 1万+
由于项目用户量比较大，测试同事采用两百并发进行测试，在测试查过程中，查看jvm 虚拟机发现很多java.lang.Thread.State: BLOCKED (on object monitor) at org.apache.log4j.Category.callAppenders(Category.java:204)问题
log4j是如何拖慢你的系统的
veZunShao的专栏
11-21 7814
log4j 引起的线上事故 1 问题起因 这个是在生产环境中发生的问题，第一次事故因为别人把大量的请求打来过来，猜测是机器扛不住，后来量少后发现问题不存在了，大致把问题定位是因为量的问题，也就准备后续的扩容，大概过了几个月，线上又发生了一次事故，事故的特征排查之后的特征就是打印log的速度非常慢，而且nginx处理速度也慢，同一个请求两个条日志之间间隔了好几秒， 经过运维排查后，是
tomcat版本打印console问题引起的锁问题
lunshu2b的专栏
11-15 954
客户端是web服务，服务端是dubbo服务，服务器是tomcat-7.0.61，web调用dubbo服务之后出现了TimeoutException问题，在dubbo admin后台观察到该dubbo服务正常， 一次调用失败以后，以后再调用该dubb服务也会失败，后来查看了服务端的线程信息 发现出现了很多锁等待，等待的锁是 发现是日志打印引起，因为该dubbo服务是同步的，所以一次
Apache log4j-1.2.17源码学习笔记
猿类崛起
12-05 765
(1)Apache log4j-1.2.17源码学习笔记 http://blog.csdn.net/zilong_zilong/article/details/78715500 (2)Apache log4j-1.2.17问答式学习笔记 http://blog.csdn.net/zilong_zilong/article/details/78916626 (3)JDK Lo...
log4j：log4j1.x升级log4j2.x及异步日志开启
weixin_38569499的博客
11-01 6503
由于log4j1.x采用同步的方式打印log，当项目中打印log的地方很多的时候，频繁的加锁拆锁会导致性能的明显下降。log4j推出了异步logging的方式，所以项目准备升级log4j2.x。 备注：项目使用maven管理第三方类库，所以jar包的替换是通过更改maven配置的方式进行更改的。 官方文档链接：https://logging.apache.org/log...
MySQL DeadLock故障排查实战解析
4. **死锁检测与超时设置**：可以设置合适的`innodb_lock_wait_timeout`参数，当事务等待锁超过这个时间，MySQL会自动回滚事务。 5. **手动解锁**：在发现问题时，可以主动回滚其中一个事务，打破死锁状态。 6. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值