Apache+JK负载均衡Tomcat集群

　　集群有别于分布式的解决方案，它采用的是每台服务器运行相同应用的策略，由负责平衡的服务器进行分流，这对提高整个系统的并发量及吞吐量是更有效的办法。而集群对请求的处理又有两种不同的方式：负载平衡、状态复制(即集群)，状态复制需要在各服务器间复制应用状态，而负载平衡则不用，每台服务器都是独立的。实践证明，在各应用服务器之间不需要状态复制的情况下，负载平衡可以达到性能的线性增长及更高的并发需求。

 

集群与负载平衡

      使用mod_jk默认的以轮循方式进行平衡负载，假设有四个服务器节点，有10个请求，则四个节点分别接受请求编号如下：

 

　　而集群方式也是使用这种方法进行平衡。Tomcat中的集群原理是通过组播的方式进行节点的查找并使用TCP连接进行会话的复制。

　　集群不同于负载平衡的是，由于集群服务需要在处理请求之间不断地进行会话复制，复制后的会话将会慢慢变得庞大，因此它的资源占用率是非常高的，如果在并发量大的应用中，复制的会话大小会变得相当大，而使用的总内存更是会迅速升高。

　　但集群的会话复制，增加了系统的高可用性。由于在每台服务器都保存有用户的Session信息，如果服务器群中某台当机，应用可以自动切换到其它服务器上继续运行，而用户的信息不会丢失，这提高了应用的冗错性。

　　具体采用负载平衡还是集群，这要看应用的需求了。

 

安装配置Apache

1、下载Apache的安装程序apache_2.0.54-win32-x86-no_ssl.exe后，安装很简单，一路回车，就此略过。

2、安装完毕后，将下载的mod_jk-1.2.14-apache-2.0.54.so复制到Apache安装目录下的modules子目录中。

3、然后进入Apache安装目录下的conf子目录中，打开httpd.conf配置文件，在最后插入以下一行：

Include conf/mod_jk.conf

以上指令的目的为加载JK模块的配置文件，当然，你也可以直接将JK配置文件直接写在此处，但前者思路更加清晰。

 

4、在conf子目录下，建立一个新的配置文件：mod_jk.conf，此文件为Apache加载连接器的配置文件，文件名可修改，但要与httpd.conf中Include的文件名一致，内容如下：

# Load mod_jk module. Specify the filename # of the mod_jk lib you’ve downloaded and # installed in the previous section LoadModule jk_module modules/mod_jk-1.2.14-apache-2.0.54.so # Where to find workers.properties JkWorkersFile conf/workers2.properties # Where to put jk logs JkLogFile logs/mod_jk.log # Set the jk log level [debug/error/info] JkLogLevel info # Select the log format JkLogStampFormat "[%a %b %d %H:%M:%S %Y] " # JkOptions indicate to send SSL KEY SIZE, JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories # JkRequestLogFormat set the request format JkRequestLogFormat "%w %V %T" # 请求分发配置，可以配置多项 JkMount /* loadbalancer # 关掉主机Lookup，如果为on，很影响性能，可以有10多秒钟的延迟。 HostnameLookups Off

 

5、在conf子目录下，建立一个新的配置文件：workers2.properties，此文件为负载平衡的配置文件，文件名不能修改，这是JK默认的名字，内容如下：

worker.list=loadbalancer # Define the first node... worker.server99.port=8009 worker.server99.host=192.168.11.99 worker.server99.type=ajp13 worker.server99.lbfactor=1 worker.server99.local_worker=1 worker.server99.cachesize=1000 worker.server99.cache_timeout=600 worker.server99.socket_keepalive=1 worker.server99.socket_timeout=0 worker.server99.reclycle_timeout=300 worker.server99.retries=3 # Define the second node... worker.server202.port=8009 worker.server202.host=192.168.11.202 worker.server202.type=ajp13 worker.server202.lbfactor=1 worker.server202.local_worker=1 worker.server202.cachesize=1000 worker.server202.cache_timeout=600 worker.server202.socket_keepalive=1 worker.server202.socket_timeout=0 worker.server202.reclycle_timeout=300 worker.server202.retries=3 # Now we define the load-balancing behaviour worker.loadbalancer.type=lb worker.retries=3 worker.loadbalancer.balance_workers=server99 ,server202 worker.loadbalancer.sticky_session=true worker.loadbalancer.sticky_session_force=true 

 

注：以上定义了两个worker，一个为server99，另一个为server202，定义了一个负载平衡服务器loadbalancer，相关的详细说明可以看官方的网站文档： http://tomcat.apache.org/connectors-doc/ ，其它节点的定义可以直接Copy，修改一下节点名及IP就好了。下面对各指令做详细的说明：

• worker.list=loadbalancer：设定工作的负载平衡器，各Tomcat节点不能加入此列表。
• worker.server99.lbfactor：负载平衡的权重比，如果此权重比越大，则分配到此节点的请求越多，如以上两个节点的权重比为1:1，则为平均分配。
• worker.loadbalancer.balance_workers=server99,server202：指定此负载平衡器负责的Tomcat应用节点。
• worker.loadbalancer.sticky_session=true：此处指定集群是否需要会话复制，如果设为true，则表明为会话粘性，不进行会话复制，当某用户的请求第一次分发到哪台Tomcat后，后继的请求会一直分发到此Tomcat服务器上处理；如果设为false，则表明需求会话复制。
• worker.loadbalancer.sticky_session_force=true：如果上面的sticky_session设为true时，建议此处也设为true，此参数表明如果集群中某台Tomcat服务器在多次请求没有响应后，是否将当前的请求，转发到其它Tomcat服务器上处理；此参数在sticky_session=true时，影响比较大，会导致转发到其它Tomcat服务器上的请求，找不到原来的session，所以如果此时请求中有读取session中某些信息的话，就会导致应用的null异常。

6、Apache服务器的配置文件httpd.conf中，默认有三个参数对性能的影响比较大，但根据不同的性能要求，参数的表现又不一样，太小并发提不上去，太大性能反而不好，建议根据项目的需要，实际做个测试，如并发要求800的话，可以设定为：

# 一个连接的最大请求数量 MaxKeepAliveRequests　1000（值为0，则不限制数量） # 每个进程的线程数，最大1920。NT只启动父子两个进程，不能设置启动多个进程 ThreadsPerChild　　　　1000（最大为1920） # 每个子进程能够处理的最大请求数 MaxRequestsPerChild 1000（值为0，则不限制数量）

这三个参数要根据不同的需求，不同的服务器进行调整

 

 

安装配置Tomcat

 

1、tomca1 tomcat 2 在同一台机器

Tomcat 1  （IP: 192.168.11.99） 

A、修改Server节点

<Server port="8015" shutdown="SHUTDOWN">

B、修改Connector节点

JK: ajp13 listening on /0.0.0.0:8009 修改端口必须与workers.propertise文件内worker.server99.port=8019一致

     <Connector port="8019" protocol="AJP/1.3" redirectPort="8443" />

A、修改Engine节点信息： <Engine name="Catalina" defaultHost="localhost" jvmRoute="server99">
B、去掉<Cluster>  </Cluster> 的注释符
C、修改Cluster 节点信息
<Membership              
className="org.apache.catalina.cluster.mcast.McastService"               

mcastBindAddress="192.168.11.99"               
mcastAddr="224.0.0.1"               
mcastPort="45564"   
mcastFrequency="500"               
mcastDropTime="3000"/>
      <Receiver          
className="org.apache.catalina.cluster.tcp.ReplicationListener"               

tcpListenAddress="192.168.11.99"               
tcpListenPort="4001"
tcpSelectorTimeout="100"               
tcpThreadCount="6"/>
   
Tomcat 2  （IP: 192.168.11.99）

A、修改Server节点

<Server port="8025" shutdown="SHUTDOWN">

B、修改Connector节点

JK: ajp13 listening on /0.0.0.0:8009 修改端口必须与workers.propertise文件内worker.server202.port=8029一致

     <Connector port="8029" protocol="AJP/1.3" redirectPort="8443" />

A、修改Engine节点信息： <Engine name="Catalina" defaultHost="localhost" jvmRoute="server202">
B、去掉<Cluster>  </Cluster> 的注释符
C、修改Cluster 节点信息
<Membership      
className="org.apache.catalina.cluster.mcast.McastService"
mcastBindAddress="192.168.11.99"
mcastAddr="224.0.0.1"
mcastPort="45564"
mcastFrequency="500"
mcastDropTime="3000"/>
<Receiver         
className="org.apache.catalina.cluster.tcp.ReplicationListener"         
tcpListenAddress="192.168.11.99"
tcpListenPort="4002"
tcpSelectorTimeout="100"
tcpThreadCount="6"/>
D、将8080 8009 8082三个节点的端口改为
   9080 9009 9082 避免 与tomcat1端口冲突
注：这里的IP也可以不改

2、tomca1 tomcat 2 在不同机器上

Tomcat 1  （IP: 192.168.11.99）   

A、Server节点

<Server port="8005" shutdown="SHUTDOWN">

B、Connector节点

JK: ajp13 listening on /0.0.0.0:8009 修改端口必须与workers.propertise文件内worker.server99.port=8009一致

     <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

A、修改Engine节点信息： <Engine name="Catalina" defaultHost="localhost" jvmRoute="server99">
B、去掉<Cluster>  </Cluster> 的注释符
C、修改Cluster 节点信息
 <Membership           
className="org.apache.catalina.cluster.mcast.McastService"
mcastBindAddress="192.168.11.99"               
mcastAddr="224.0.0.1"               
mcastPort="45564"               
mcastFrequency="500"
mcastDropTime="3000"/>
<Receiver          
className="org.apache.catalina.cluster.tcp.ReplicationListener"
tcpListenAddress="192.168.11.99"               
tcpListenPort="4001"               
tcpSelectorTimeout="100"               
tcpThreadCount="6"/>   

Tomcat 2  （IP: 192.168.11.202）

A、Server节点

<Server port="8005" shutdown="SHUTDOWN">

B、Connector节点

JK: ajp13 listening on /0.0.0.0:8009 修改端口必须与workers.propertise文件内worker.server202.port=8009一致

     <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

A、修改Engine节点信息： <Engine name="Catalina" defaultHost="localhost" jvmRoute="server202">
B、去掉<Cluster>  </Cluster> 的注释符
C、修改Cluster 节点信息
<Membership
className="org.apache.catalina.cluster.mcast.McastService"               
mcastBindAddress="192.168.11.202"               
mcastAddr="224.0.0.1"               
mcastPort="45564"     mcastFrequency="500"               
mcastDropTime="3000"/>
<Receiver          
className="org.apache.catalina.cluster.tcp.ReplicationListener"           

tcpListenAddress="192.168.11.202"               
tcpListenPort="4001"               
tcpSelectorTimeout="100"               
tcpThreadCount="6"/>

修改web应用里面WEB-INF目录下的web.xml文件，加入标签
<distributable/>
直接加在</web-app>之前就可以了
做tomcat集群必须需要这一步，否则用户的session就无法正常使用。

 

注意事项：

1、mcastAddr="224.0.0.1" 这主广播地址因此需要开启网卡组播功能

route add -net 224.0.0.0 netmask 240.0.0.0 dev eth0

分别在各机器上运行

2、查看端口情况：

Netstat –antl |grep 4001同步监听的端口

3、测试广播：

java -cp tomcat-replication.jar MCaster 224.0.0.1 45564 Terminal1

java -cp tomcat-replication.jar MCaster 224.0.0.1 45564 Terminal2

如果不报错则能正常广播

tomcat-replication.jar下载:[url]http://cvs.apache.org/~fhanik/tomcat-replication.jar[/url]

如果是二台机器，可以用tcpdump抓取包