tomcat 的最大连接数

原创 2018年04月17日 19:16:43

前提说明

为了确保服务不会被过多的http长连接压垮,我们需要对tomcat设定个最大连接数,超过这个连接数的请求会拒绝,让其负载到其它机器。达到保护自己的同时起到连接数负载均衡的作用。

动手去做

一开始根据故障todoList提供的参数MaxKeepAliveRequests,进行验证,我们将tomcat配置server.xml修改为:
screenshot
同时,启动客户端模拟30个长连接。

预期应该只有10个连接能保持住。
结果与预期不符,30个连接都连上了,而且正常。
这由此怀疑提供的配置参数是否是真正限制最大连接数的含义了。
screenshot
KeepAlive是在HTTP1.1中定义的,用来保持客户机和服务器的长连接,通过减少建立TCP Session的次数来提高性能。常用的配置参数有{KeepAlive, KeepAliveTimeout, MaxKeepAliveRequests}。逐个说来:
KeepAlive是决定开启KeepAlive支持;
KeepAliveTimeout决定一 个KeepAlive的连接能保持多少时间,Timeout就尽快shutdown链接,若还有数据必须再建立新的连接 了;
MaxKeepAliveRequests于KeepAliveTimeout相似,意思是服务多少个请求就shutdown连接。

显然与我们想到的要求不符,再搜索其它配置参数:

maxConnections
根据字面意思觉得就应该是这个了。
去验证吧,
screenshot!
最大连接数为10,我们启动30个长连接,
预期应该是只有10个长连接,实际结果却是远超过10个。这个有点不应该啊。

实验验证

原来还有个参数可以觉得连接数的大小
screenshot

maxThreads:tomcat起动的最大线程数,即同时处理的任务个数,默认值为200
acceptCount:当tomcat起动的线程数达到最大时,接受排队的请求个数,默认值为100

这两个值如何起作用,请看下面三种情况
情况1:接受一个请求,此时tomcat起动的线程数没有到达maxThreads,tomcat会起动一个线程来处理此请求。
情况2:接受一个请求,此时tomcat起动的线程数已经到达maxThreads,tomcat会把此请求放入等待队列,等待空闲线程。
情况3:接受一个请求,此时tomcat起动的线程数已经到达maxThreads,等待队列中的请求个数也达到了acceptCount,此时tomcat会直接拒绝此次请求,返回connection refused

同时加上maxConnections
screenshot

原来tomcat最大连接数取决于maxConnections这个值加上acceptCount这个值,在连接数达到了maxConenctions之后,tomcat仍会保持住连接,但是不处理,等待其它请求处理完毕之后才会处理这个请求。

源码分析

tomcat的最大连接数参数是maxConnections,这个值表示最多可以有多少个socket连接到tomcat上。BIO模式下默认最大连接数是它的最大线程数(缺省是200),NIO模式下默认是10000,APR模式则是8192(windows上则是低于或等于maxConnections的1024的倍数)。如果设置为-1则表示不限制。

在tomcat里通过一个计数器来控制最大连接,比如在Endpoint的Acceptor里大致逻辑如下:

while (running) {
    ...    
    //if we have reached max connections, wait
    countUpOrAwaitConnection(); //计数+1,达到最大值则等待

    ...
    // Accept the next incoming connection from the server socket
    socket = serverSock.accept();

    ...
    processSocket(socket);

    ...
    countDownConnection(); //计数-1
    closeSocket(socket);
}

计数器是通过LimitLatch锁来实现的,它内部主要通过一个java.util.concurrent.locks.AbstractQueuedSynchronizer的实现来控制。

我们将最大连接数设置为10,同时启动超过30个长连接,
然后通过jstack可以看到acceptor线程阻塞在countUpOrAwaitConnection方法上:

http-nio-8080-Acceptor-0" daemon prio=10 tid=0x00007f9cfc191000 nid=0x1e07 waiting on condition [0x00007f9ca9fde000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x000000076595b688> (a org.apache.tomcat.util.threads.LimitLatch$Sync)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:156)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(AbstractQueuedSynchronizer.java:811)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.doAcquireSharedInterruptibly(AbstractQueuedSynchronizer.java:969)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireSharedInterruptibly(AbstractQueuedSynchronizer.java:1281)
        at org.apache.tomcat.util.threads.LimitLatch.countUpOrAwait(LimitLatch.java:115)
        at org.apache.tomcat.util.net.AbstractEndpoint.countUpOrAwaitConnection(AbstractEndpoint.java:755)
        at org.apache.tomcat.util.net.NioEndpoint$Acceptor.run(NioEndpoint.java:787)
        at java.lang.Thread.run(Thread.java:662)

代码层面也解释了这种现象。

总结

tomcat能支持最大连接数由maxConnections加上acceptCount来决定。同时maxThreads如何设定?

以下部分结论引用自:http://duanfei.iteye.com/blog/1894387
一般的服务器操作都包括两方面:1计算(主要消耗cpu),2等待(io、数据库等)

第一种极端情况,如果我们的操作是纯粹的计算,那么系统响应时间的主要限制就是cpu的运算能力,此时maxThreads应该尽量设的小,降低同一时间内争抢cpu的线程个数,可以提高计算效率,提高系统的整体处理能力。

第二种极端情况,如果我们的操作纯粹是IO或者数据库,那么响应时间的主要限制就变为等待外部资源,此时maxThreads应该尽量设的大,这样 才能提高同时处理请求的个数,从而提高系统整体的处理能力。此情况下因为tomcat同时处理的请求量会比较大,所以需要关注一下tomcat的虚拟机内 存设置和linux的open file限制。

现实应用中,我们的操作都会包含以上两种类型(计算、等待),所以maxThreads的配置并没有一个最优值,一定要根据具体情况来配置。

最好的做法是:在不断测试的基础上,不断调整、优化,才能得到最合理的配置。

acceptCount的配置,我一般是设置的跟maxThreads一样大,这个值应该是主要根据应用的访问峰值与平均值来权衡配置的。

如果设的较小,可以保证接受的请求较快相应,但是超出的请求可能就直接被拒绝

如果设的较大,可能就会出现大量的请求超时的情况,因为我们系统的处理能力是一定的

软连接 
Bat代码  收藏代码
  1. ln -s /home/ictfmcg/data/photo /var/jtnd/data/photo  
tomcat 6的Connector配置如下 
Xml代码  收藏代码
  1. <Connector port="8080" protocol="HTTP/1.1"  
  2.                connectionTimeout="20000"  
  3.                redirectPort="8443"  
  4.                maxThreads="800" acceptCount="1000"/>  
其中最后两个参数意义如下: 
maxThreads:tomcat起动的最大线程数,即同时处理的任务个数,默认值为200 
acceptCount:当tomcat起动的线程数达到最大时,接受排队的请求个数,默认值为100 
这两个值如何起作用,请看下面三种情况 
情况1:接受一个请求,此时tomcat起动的线程数没有到达maxThreads,tomcat会起动一个线程来处理此请求。 
情况2:接受一个请求,此时tomcat起动的线程数已经到达maxThreads,tomcat会把此请求放入等待队列,等待空闲线程。 
情况3:接受一个请求,此时tomcat起动的线程数已经到达maxThreads,等待队列中的请求个数也达到了acceptCount,此时tomcat会直接拒绝此次请求,返回connection refused 
maxThreads如何配置 
一般的服务器操作都包括量方面:1计算(主要消耗cpu),2等待(io、数据库等) 
第一种极端情况,如果我们的操作是纯粹的计算,那么系统响应时间的主要限制就是cpu的运算能力,此时maxThreads应该尽量设的小,降低同一时间内争抢cpu的线程个数,可以提高计算效率,提高系统的整体处理能力。 
第二种极端情况,如果我们的操作纯粹是IO或者数据库,那么响应时间的主要限制就变为等待外部资源,此时maxThreads应该尽量设的大,这样才能提高同时处理请求的个数,从而提高系统整体的处理能力。此情况下因为tomcat同时处理的请求量会比较大,所以需要关注一下tomcat的虚拟机内存设置和linux的open file限制。 
我在测试时遇到一个问题,maxThreads我设置的比较大比如3000,当服务的线程数大到一定程度时,一般是2000出头,单次请求的响应时间就会急剧的增加, 
百思不得其解这是为什么,四处寻求答案无果,最后我总结的原因可能是cpu在线程切换时消耗的时间随着线程数量的增加越来越大, 
cpu把大多数时间都用来在这2000多个线程直接切换上了,当然cpu就没有时间来处理我们的程序了。 
以前一直简单的认为多线程=高效率。。其实多线程本身并不能提高cpu效率,线程过多反而会降低cpu效率。 
当cpu核心数<线程数时,cpu就需要在多个线程直接来回切换,以保证每个线程都会获得cpu时间,即通常我们说的并发执行。 
所以maxThreads的配置绝对不是越大越好。 
现实应用中,我们的操作都会包含以上两种类型(计算、等待),所以maxThreads的配置并没有一个最优值,一定要根据具体情况来配置。 
最好的做法是:在不断测试的基础上,不断调整、优化,才能得到最合理的配置。 
acceptCount的配置,我一般是设置的跟maxThreads一样大,这个值应该是主要根据应用的访问峰值与平均值来权衡配置的。 
如果设的较小,可以保证接受的请求较快相应,但是超出的请求可能就直接被拒绝 
如果设的较大,可能就会出现大量的请求超时的情况,因为我们系统的处理能力是一定的。 
1、查看apache当前并发访问数:
Bat代码  收藏代码
  1. netstat -an | grep ESTABLISHED | wc -l  
   对比httpd.conf中MaxClients的数字差距多少。 
2、查看有多少个进程数: 
Bat代码  收藏代码
  1. ps aux|grep httpd|wc -l  
3、可以使用如下参数查看数据 
Bat代码  收藏代码
  1. #ps -ef|grep httpd|wc -l  
 1388 
  统计httpd进程数,连个请求会启动一个进程,使用于Apache服务器。 
  表示Apache能够处理1388个并发请求,这个值Apache可根据负载情况自动调整。 
Bat代码  收藏代码
  1. #netstat -nat|grep -i "80"|wc -l  
  4341 
  netstat -an会打印系统当前网络链接状态,而grep -i "80"是用来提取与80端口有关的连接的,wc -l进行连接数统计。  www.2cto.com  
  最终返回的数字就是当前所有80端口的请求总数。 
Bat代码  收藏代码
  1. #netstat -na|grep ESTABLISHED|wc -l  
  376 
  netstat -an会打印系统当前网络链接状态,而grep ESTABLISHED 提取出已建立连接的信息。 然后wc -l统计。 
  最终返回的数字就是当前所有80端口的已建立连接的总数。 
Bat代码  收藏代码
  1. netstat -nat||grep ESTABLISHED|wc  
    - 可查看所有建立连接的详细记录 
  查看Apache的并发请求数及其TCP连接状态: 
  Linux命令: 
Bat代码  收藏代码
  1. netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'  
  返回结果示例: 
  LAST_ACK 5 
  SYN_RECV 30 
  ESTABLISHED 1597 
  FIN_WAIT1 51 
  FIN_WAIT2 504 
  TIME_WAIT 1057 
  其中的 
  SYN_RECV表示正在等待处理的请求数; 
  ESTABLISHED表示正常数据传输状态; 
  TIME_WAIT表示处理完毕,等待超时结束的请求数。

tomcat 的最大连接数设置

转载:http://blog.csdn.net/qysh123/article/details/11678903#comments 这是个很简单的问题,但是搜了一圈,发现大家都写错了。所以这里总...
  • android_wangjuan
  • android_wangjuan
  • 2016-07-27 11:43:43
  • 810

tomCat最大连接数

转载:http://blog.csdn.NET/qysh123/article/details/11678903#comments 这是个很简单的问题,但是搜了一圈,发现大家都写错了。所以这里总...
  • QQQQQQ654
  • QQQQQQ654
  • 2017-03-31 18:54:17
  • 1037

Tomcat 7最大并发连接数的正确修改方法

这是个很简单的问题,但是搜了一圈,发现大家都写错了。所以这里总结一下: 几乎所有的中文网页都介绍,要修改Tomcat的默认最大并发连接数,应该进行如下设置(实际上这些步骤是错误的): --...
  • qysh123
  • qysh123
  • 2013-09-14 13:29:31
  • 23129

websocket tomcat设置 最大连接数8192

maxThreads="500" maxConnections="100000" enableLookups="false"  redirectPort="8443" /> 以上设置可以让w...
  • zgahlibin
  • zgahlibin
  • 2017-12-25 20:22:53
  • 443

Linux下tomcat设置最大连接数

处理:修改tomcat的最大线程数。在server.xml里的connect标签里加参数,具体的参数名称请参考http://tomcat.apache.org/tomcat-6.0-doc/confi...
  • gaoshili001
  • gaoshili001
  • 2016-07-25 18:14:49
  • 2409

tomcat性能配置

  • 2014年05月21日 17:20
  • 23KB
  • 下载

Tomcat 最大并发连接数的正确设置方法

这里先教大家怎么去查Tomcat的官网:首先,在这里:http://tomcat.apache.org/ 我们点击左侧导航栏中“Documentation”下的Tomcat 7.0,进入到这个链接中:...
  • wjb_2016
  • wjb_2016
  • 2017-04-13 15:55:03
  • 1755

Tomcat下WebSocket最大连接数测试

WebSocket现在很常用,想要测试tomcat的最大连接数,今天试了一个可行的办法和配置(之前是用全公司的设备一起来测试的,真机环境的测试收到网络的影响很大,其实真实环境应用中,网络才是webso...
  • z915412321
  • z915412321
  • 2016-08-20 14:15:46
  • 10143

杜绝假死,Tomcat容器做到自我保护,设置最大连接数

前提说明 为了确保服务不会被过多的http长连接压垮,我们需要对tomcat设定个最大连接数,超过这个连接数的请求会拒绝,让其负载到其它机器。达到保护自己的同时起到连接数负载均衡的作用。 ...
  • huaweitman
  • huaweitman
  • 2016-01-21 09:38:15
  • 10224

Tomcat 7最大并发连接数的配置

在tomcat配置文件server.xml中的配置中,和连接数相关的参数有:    minProcessors:最小空闲连接线程数,用于提高系统处理性能,默认值为10 maxProcessors...
  • Rosen_Luo
  • Rosen_Luo
  • 2015-10-23 17:11:32
  • 2892
收藏助手
不良信息举报
您举报文章:tomcat 的最大连接数
举报原因:
原因补充:

(最多只允许输入30个字)