【2016-06-13】一次BufferReader没有close引发的血案

最新推荐文章于 2023-04-18 22:17:13 发布

weixin_34120274

最新推荐文章于 2023-04-18 22:17:13 发布

阅读量518

点赞数

文章标签：网络大数据 java

原文链接：https://my.oschina.net/rathan/blog/690327

版权

为什么80%的码农都做不了架构师？>>>

Hive-Web是我司Web端查询Hive数据的服务，功能上比较简单，用户在Web上写一个SQL，Hive-Web将SQL提交到后端的服务执行查询，得到结果的hdfs路径，然后通过hadoop的fs读取文件，将其返回给用户。

这样简单地一个应用最近经常OldGC次数超多，用户反映说网页上日志不刷新了，查询还在Running，但是状态确实Failed的了，总之就是服务端不响应请求了。

性能调优上我一直比较懵，这次也一样，没辙，仔细查吧~

主机：dw-hive-web02.nh
心跳时间：2016-05-24 20:03:31
查看了当时告警机器的CAT心跳，发现catalina-exec线程数120个，正常情况下为10个。
其中：
BLOCKED：35个
RUNNABLE：32个
TIMED_WAITING：32个
WAITING：21个

BLOCKED的线程都卡在这里：

145: "catalina-exec-411" Id=172907 BLOCKED on org.apache.log4j.spi.RootLogger@625fc53f owned by "catalina-exec-542" Id=174535
at org.apache.log4j.Category.callAppenders(Category.java:204)
- blocked on org.apache.log4j.spi.RootLogger@625fc53f
at org.apache.log4j.Category.forcedLog(Category.java:391)
at org.apache.log4j.Category.log(Category.java:856)
at org.slf4j.impl.Log4jLoggerAdapter.error(Log4jLoggerAdapter.java:517)
at com.dianping.cache.memcached.MemcachedClientImpl.get(MemcachedClientImpl.java:801)
at com.dianping.avatar.cache.CacheServiceContainer.get(CacheServiceContainer.java:401)
at com.dianping.avatar.cache.CacheServiceContainer.get(CacheServiceContainer.java:372)
at com.dianping.avatar.cache.DefaultCacheService$8.execute(DefaultCacheService.java:199)

catalina-exec-542如下：

194: "catalina-exec-542" Id=174535 RUNNABLE
at java.io.FileOutputStream.writeBytes(Native Method)
at java.io.FileOutputStream.write(FileOutputStream.java:282)
at sun.nio.cs.StreamEncoder.writeBytes(StreamEncoder.java:202)
at sun.nio.cs.StreamEncoder.implFlushBuffer(StreamEncoder.java:272)
at sun.nio.cs.StreamEncoder.implFlush(StreamEncoder.java:276)
at sun.nio.cs.StreamEncoder.flush(StreamEncoder.java:122)
at java.io.OutputStreamWriter.flush(OutputStreamWriter.java:212)
at org.apache.log4j.helpers.QuietWriter.flush(QuietWriter.java:59)

dw-hive-web主机上tomcat配置的最大线程数为120个，排队数最大30个，超过maxQueueSize会拒绝请求：

<Executor name="tomcatThreadPool" namePrefix="catalina-exec-"
         maxThreads="120" maxQueueSize="30" minSpareThreads="10" maxIdleTime="60000"/>
<Connector executor="tomcatThreadPool" protocol="org.apache.coyote.http11.Http11Protocol"
        port="8080" URIEncoding="UTF-8" compression="off" enableLookups="false" maxPostSize="0"
        maxKeepAliveRequests="20" bufferSize="8192" connectionTimeout="5000"
        redirectPort="8443" server="DPServer"  emptySessionPath="true"/>

bug修复前的tcp链接数：