Tomcat6集群 + Apache + Nginx均衡负载及其测试
Tomcat6 集群配置端口规划:
注:该端口是在同一台机器上启动2个tomcat,需要修改一下端口不重复,如果一台机器只部署1个tomcat其端口可以一样。
序号 | SHUTDOWN | AJP | http | 集群Receiver |
1 | 8005 | 8009 | 8080 | 5001 |
2 | 8015 | 8019 | 8081 | 5002 |
Tomcat6集群配置:
在server.xml中修改:
将:
<Engine name="Catalina" defaultHost="localhost"> |
修改为:
<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm1"> |
其中 jvmRoute="jvm1" 在不同的tomcat中名称不一样。
在<Engine></Engine>节点中加入如下内容:
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="6"> <Manager className="org.apache.catalina.ha.session.BackupManager" expireSessionsOnShutdown="false" notifyListenersOnReplication="true" mapSendOptions="6" /> <!-- <Manager className="org.apache.catalina.ha.session.DeltaManager" expireSessionsOnShutdown="false" notifyListenersOnReplication="true"/> --> <Channel className="org.apache.catalina.tribes.group.GroupChannel"> <Membership className="org.apache.catalina.tribes.membership.McastService" address="228.0.0.4" port="45564" frequency="500" dropTime="3000" /> <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver" address="auto" port="5001" selectorTimeout="100" maxThreads="6" /> <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter"> <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender" /> </Sender> <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector" /> <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor" /> <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor" /> </Channel> <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=".*/.gif;.*/.js;.*/.jpg;.*/.png;.*/.htm;.*/.html;.*/.css;.*/.txt;" /> <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener" /> </Cluster> |
注意在同一台机器上:Receiver 节点端口: port="5001" 要不一样。
优化:
内存优化配置:
Windows:
set JAVA_OPTS = " -server -Xms512M -Xmx2048M -XX:MaxNewSize=256M -XX:PermSize=256M -XX:MaxPermSize=512M -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Djava.awt.headless=true" |
Linux:
JAVA_OPTS = " -server -Xms512M -Xmx2048M -XX:MaxNewSize=256M -XX:PermSize=256M -XX:MaxPermSize=512M -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Djava.awt.headless=true" |
其他优化配置:
1、加入如下配置1:
<Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="500" minSpareThreads="50" /> |
修改
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" /> |
为:
<Connector port="8080" executor="tomcatThreadPool" protocol="HTTP/1.1" connectionTimeout="60000" enableLookups="false" redirectPort="8443" /> |
修改:
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" /> |
为:
<Connector port="8009" executor="tomcatThreadPool" connectionTimeout="60000" enableLookups="false" redirectPort="8443" protocol="AJP/1.3" /> |
2、或者:
修改
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" /> |
为:
<Connector port="8080" protocol="HTTP/1.1" maxThreads="500" acceptCount="50" connectionTimeout="60000" enableLookups="false" redirectPort="8443" /> |
修改:
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" /> |
为:
<Connector port="8009" maxThreads="500" connectionTimeout="60000" enableLookups="false" redirectPort="8443" protocol="AJP/1.3" /> |
注:两者的主要区别是:executor被起用且关联时maxThreads="500" 被忽略。
几个属性解释:
maxThreads
Tomcat使用线程来处理接收的每个请求。这个值表示Tomcat可创建的最大的线程数。默认值200。 可以根据机器的时期性能和内存大小调整,一般可以在400-500。最大可以在800左右。
acceptCount
指定当所有可以使用的处理请求的线程数都被使用时,可以放到处理队列中的请求数,超过这个数的请求将不予处理。默认值10。
minSpareThreads
Tomcat初始化时创建的线程数。默认值4。
connnectionTimeout
网络连接超时,默认值20000,单位:毫秒。设置为0表示永不超时,这样设置有隐患的。通常可设置为30000毫秒。(本系统由于与后台系统接口超时时间较长,使用设置为60000)
enableLookups
是否反查域名,默认值为true。为了提高处理能力,应设置为false
Executor节点
表示Tomcat组件之间共享的线程池。
maxIdleTime
空闲线程被关闭之前的毫秒数。默认值是60000。
Nginx + Tomcat负载均衡配置:
在配置文件
upstream tomcat6 { server 192.168.100.50:8080 weight=1; server 192.168.100.50:8081 weight=1; } |
其中tomcat6名称随意,注意IP地址和端口。
修改Server节点中location:
location / { root html; index index.html index.htm; } |
为:
location / { #root html; #index index.html index.htm; proxy_pass http://tomcat6; } |
注意http://tomcat6中tomcat6名称与上面的配置一样。
Apache + Tomcat 负载均衡配置:
Apache Http Server与Tomcat连接有三种方式,可以参考:
http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/index.html
本文只介绍最常用的JK方式,需要2个文件:
1、httpd.conf
Apache 服务器的配置文件,用来加载 JK 模块以及指定 JK 配置文件信息
2、workers.properties
到 Tomcat 服务器的连接定义文件。
下面是一个典型的 httpd.conf 对 JK 的配置:
# (httpd.conf) # 加载 mod_jk 模块 LoadModule jk_module modules/mod_jk.so
# # Configure mod_jk #
JkWorkersFile conf/workers.properties JkMountFile conf/uriworkermap.properties JkLogFile logs/mod_jk.log JkLogLevel warn |
mod_jk.so文件可以从http://labs.xiaonei.com/apache-mirror/tomcat/tomcat-connectors/jk/binaries/下载,下载源代码后需要编译,下载二进制后直接复制到apache目录modules文件夹下面,修改上面配置文件LoadModule jk_module modules/mod_jk.so,注意其对应其apache的版本2.0.x和2.2.x,以及不同的平台。一般对于AIX,HP-UX平台已经包含了mod_jk.so文件不需要再下载或编译,HP-UX一般apache目录在/opt/hpws/apache/。
上面配置也可单独拆分为一个单独的文件,建立mod_jk.conf文件加入上面配置内容,在httpd.conf中加入如下内容即可:
Include conf/mod_jk.conf
接下来在 Apache 的 conf 目录下新建文件: workers.properties
worker.list = controller,tomcat1,tomcat2,tomcat3,tomcat4 #server 列表
#========tomcat1======== worker.tomcat1.port=8009 #ajp13 端口号,在tomcat下server.xml配置,默认8009 worker.tomcat1.host=192.168.1.99 #tomcat的主机地址,如不为本机,请填写ip地址 worker.tomcat1.type=ajp13 worker.tomcat1.lbfactor = 1 #server的加权比重,值越高,分得的请求越多 #========tomcat2======== worker.tomcat2.port=9009 #ajp13 端口号,在tomcat下server.xml配置,默认8009 worker.tomcat2.host=192.168.1.99 #tomcat的主机地址,如不为本机,请填写ip地址 worker.tomcat2.type=ajp13 worker.tomcat2.lbfactor = 1 #server的加权比重,值越高,分得的请求越多 #========tomcat3======== worker.tomcat3.port=8009 #ajp13 端口号,在tomcat下server.xml配置,默认8009 worker.tomcat3.host=192.168.1.100 #tomcat的主机地址,如不为本机,请填写ip地址 worker.tomcat3.type=ajp13 worker.tomcat3.lbfactor = 1 #server的加权比重,值越高,分得的请求越多 #========tomcat4======== worker.tomcat4.port=9009 #ajp13 端口号,在tomcat下server.xml配置,默认8009 worker.tomcat4.host=192.168.1.100 #tomcat的主机地址,如不为本机,请填写ip地址 worker.tomcat4.type=ajp13 worker.tomcat4.lbfactor = 1 #server的加权比重,值越高,分得的请求越多
#========controller,负载均衡控制器======== worker.controller.type=lb worker.controller.balanced_workers=tomcat1,tomcat2,tomcat3,tomcat4 #指定分担请求的tomcat worker.controller.sticky_session=false #worker.controller.sticky_session=1 #此处指定集群是否需要会话复制,如果设为true,则表明为会话粘性,不进行会话复制 |
测试:
命令:ab -n 50000 -c 1000 http://127.0.0.1/index.jsp
根据具体情况增加或减少-n -c 参数大小
本文链接:http://blog.csdn.net/myloon/archive/2009/11/05/4774320.aspx