对于WEB应用集群的技术实现而言,最大的难点就是如何能在集群中的多个节点之间保持数据的一致性,会话(Session)信息是这些数据中最重要的一块。要实现这一点,大体上有两种方式,一种是把所有Session数据放到一台服务器上或者数据库中,集群中的所有节点通过访问这台Session服务器来获取数据;另一种就是在集群中的所有节点间进行Session数据的同步拷贝,任何一个节点均保存了所有的Session数据。两种方式都各有优点,第一种方式简单、易于实现,但是存在着Session服务器发生故障会导致全系统不能正常工作的风险;第二种方式可靠性更高,任一节点的故障不会对整个系统对客户访问的响应产生影响,但是技术实现上更复杂一些。常见的平台或中间件如microsoft asp.net和IBM WAS都会提供对两种共享方式的支持,tomcat也是这样,但是一般采用第二种方式。
-- --参考原文:Tomcat集群Cluster实现原理剖析:http://zyycaesar.iteye.com/blog/296606
一、软件准备:
1、apache2.4.10 安装方法及下载地址见我的另一篇博客:http://pynliu.blog.51cto.com/5027391/1576140
2、apache-tomcat-8.0.14.tar.gz 下载地址:http://tomcat.apache.org/download-80.cgi
3、tomcat-connectors-1.2.40-src.tar.gz 下载地址:http://tomcat.apache.org/download-connectors.cgi
二、安装tomcat-connectors
apache安装方式可以查看我以往的博客.
1
2
3
4
5
6
7
8
|
[root@lw-01 opt]
# tar zxvf tomcat-connectors-1.2.40-src.tar.gz
进入tomcat-connectors的native目录:
[root@lw-01 opt]
# cd tomcat-connectors-1.2.40-src/native/
进行编译参数设置:
[root@lw-01 native]
# ./buildconf.sh
[root@lw-01 native]
# ./configure --with-apxs=/usr/local/apache2/bin/apxs\ --with-java-home=$JAVA_HOME --with-java-platform=2\ --enable-jni
[root@lw-01 native]
# make && make install
|
如果成功结束,你可以在/usr/local/apache/modules/下找到mod_jk.so文件。
三、 安装配置tomcat
两次解压apache-tomcat-8.0.14.tar.gz并重命名apache-tomcat-8.0.14-1和apache-tomcat-8.0.14-2
(说明:我是在一台服务器上搭建两个tomcat,后面还需要修改端口;如果你是在不同的服务器上安装tomcat,就不需要这么麻烦。)
备注:一台服务器部署多个tomcat方法可参考:http://www.linuxidc.com/Linux/2012-02/55413.htm
1
2
|
[root@lw-02 opt]
# ls
apache-tomcat-8.0.14-1 apache-tomcat-8.0.14-2
|
tomcat集群配置:
思路:修改tomcat1和tomcat2的端口不相同并取消集群配置文件的注释,端口只需修改tomcat2,tomcat1默认即可。配置文件在../conf/server.xml中。
3.1 修改端口
三个端口,分别是:Server port,HTTP1.1(连接时使用),AJP13(集群使用)
1
2
3
4
5
6
|
[root@lw-02 conf]
# pwd
/opt/apache-tomcat-8
.0.14-2
/conf
[root@lw-02 conf]
# cat server.xml | grep port | grep -v "\!"
<Server port=
"8007"
shutdown
=
"SHUTDOWN"
>
//
默认是8006改为8007
<Connector port=
"8081"
protocol=
"HTTP/1.1"
//
默认是8080改为8081
<Connector port=
"8010"
protocol=
"AJP/1.3"
redirectPort=
"8443"
/>
//
默认是8009改为8010
|
3.2 开启tomcat集群支持
如下图所示,详细介绍:
1、取消注释“ <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">”,并修改jvmRoute="tomcat1",后面配置httpd时要用到
2、注释掉“<Engine name="Catalina" defaultHost="localhost">”
3、取消注释<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>
注:在tomcat官方关于tomcat集群配置的文档:http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html 中,有一份默认配置,这份默认配置可以满足大多数应用场景,因此,我们只需要将这份配置复制到<Engine/>中。本文是按照上图所述配置,下面未测试。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
|
<Cluster className=
"org.apache.catalina.ha.tcp.SimpleTcpCluster"
channelSendOptions=
"8"
>
<Manager className=
"org.apache.catalina.ha.session.DeltaManager"
expireSessionsOnShutdown=
"false"
notifyListenersOnReplication=
"true"
/>
<Channel className=
"org.apache.catalina.tribes.group.GroupChannel"
>
<Membership className=
"org.apache.catalina.tribes.membership.McastService"
address=
"228.0.0.4"
port=
"45564"
frequency=
"500"
dropTime=
"3000"
/>
<Receiver className=
"org.apache.catalina.tribes.transport.nio.NioReceiver"
address=
"auto"
port=
"4000"
autoBind=
"100"
selectorTimeout=
"5000"
maxThreads=
"6"
/>
<Sender className=
"org.apache.catalina.tribes.transport.ReplicationTransmitter"
>
<Transport className=
"org.apache.catalina.tribes.transport.nio.PooledParallelSender"
/>
<
/Sender
>
<Interceptor className=
"org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"
/>
<Interceptor className=
"org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"
/>
<
/Channel
>
<Valve className=
"org.apache.catalina.ha.tcp.ReplicationValve"
filter=
""
/>
<Valve className=
"org.apache.catalina.ha.session.JvmRouteBinderValve"
/>
<Deployer className=
"org.apache.catalina.ha.deploy.FarmWarDeployer"
tempDir=
"/tmp/war-temp/"
deployDir=
"/tmp/war-deploy/"
watchDir=
"/tmp/war-listen/"
watchEnabled=
"false"
/>
<ClusterListener className=
"org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"
/>
<ClusterListener className=
"org.apache.catalina.ha.session.ClusterSessionListener"
/>
<
/Cluster
>
|
tomcat的配置就全部完成了。
四、配置Apache
打开apache安装目录下的conf/httpd.conf文件,在文件最后追加以下内容:
1
2
3
4
5
6
7
8
9
10
11
|
# Load mod_jk module
LoadModule jk_module modules
/mod_jk
.so
# Specify jk log file.
JkLogFile
/var/log/mod_jk
.log
# Specify jk log level [debug/error/info]
JkLogLevel info
# Specify workers.properties, this file tell jk:
# how many nodes and where they are.
JkWorkersFile conf
/workers
.properties
# Specify which requests should handled by which node.
JkMount /* controller
|
关于mod_jk配置项的详细内容,可参考:http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html
上述配置中:JkWorkersFile conf/workers.properties 指明由一个workers.properties文件来描述集群结点的情况,因此,我们需要创建这个workers.properties文件,并放置于conf文件夹下,这个文件的内容如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
[root@lw-01 conf]
# pwd
/usr/local/appache/conf
[root@lw-01 conf]
# cat workers.properties
#所有节点列表,其中controller是一个逻辑结点,负责负载均衡控制,
#如果JkMount中的URL指定给了controller就表示这个请求会被自动散列到某个物理节点上。
#注意:真正负责处理请求的tomcat的名称(这里就是tomcat1,tomcat2)必须于它们在conf/server.xml文件中配置的jvmRoute的属性值是一致的!
worker.list = controller
#========tomcat1========
worker.tomcat1.port=8009
#ajp13 端口号,在tomcat下server.xml配置,默认8009
worker.tomcat1.host=192.168.1.111
#tomcat的主机地址,如不为本机,请填写ip地
worker.tomcat1.
type
=ajp13
worker.tomcat1.lbfactor = 1
#server的加权比重,值越高,分得的请求越多
#========tomcat2========
worker.tomcat2.port=8010
#ajp13 端口号,在tomcat下server.xml配置,默认8009
worker.tomcat2.host=192.168.1.111
#tomcat的主机地址,如不为本机,请填写ip地址worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor = 1
#server的加权比重,值越高,分得的请求越多
#========controller,负载均衡控制器========
worker.controller.
type
=lb
worker.controller.balance_workers=tomcat1,tomcat2
#指定分担请求的tomcat,旧版本中的balanced_workers,已不再推荐使用!
worker.controller.sticky_session=1
#sticky_session为1表示当某一 client的session创建之后,后续由该客户端发起的请求,也就是这个session的所有请求都始终由第一次处理该请求的结点负责处理(除非该结点挂掉)
|
到此,所有配置均已完成,启动两个tomcat和apache后,将某一应用同时部署到两个tomcat中,通过apache访问这个应用,观察tomcat后台打出的日志会发现,请求被随机分配给了两个tomcat交替执行。
注: 网上搜到的测试集群用的应用,test为测试应用目录,放到../webapps目录下,新建index.jsp文件,WEB-INF目录,WEB-INF目录下的web.xml,内容如下:
1
2
3
4
5
6
7
8
9
|
[root@lw-02
test
]
# pwd
/opt/apache-tomcat-8
.0.14-2
/webapps/test
[root@lw-02
test
]
# tree
.
├── index.jsp
└── WEB-INF
└── web.xml
1 directory, 2 files
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
[root@lw-02
test
]
# cat index.jsp
<%@ page contentType=
"text/html; charset=UTF-8"
%>
<%@ page
import
=
"java.util.*"
%>
<html><
head
><title>Cluster App Test<
/title
><
/head
>
<body>
<%
System.out.println(
"SessionID:"
+ session.getId());
%>
Server Info:
<%
out.println(request.getLocalAddr() +
" : "
+ request.getLocalPort()+
"<br>"
);%>
<%
out.println(
"<br> ID "
+ session.getId()+
"<br>"
);
//
如果有新的 Session 属性设置
String dataName = request.getParameter(
"dataName"
);
if
(dataName != null && dataName.length() > 0) {
String dataValue = request.getParameter(
"dataValue"
);
session.setAttribute(dataName, dataValue);
}
out.println(
"<b>Session 列表</b><br>"
);
System.out.println(
"============================"
);
Enumeration e = session.getAttributeNames();
while
(e.hasMoreElements()) {
String name = (String)e.nextElement();
String value = session.getAttribute(name).toString();
out.println( name +
" = "
+ value+
"<br>"
);
System.out.println( name +
" = "
+ value);
}
%>
<form action=
"index.jsp"
method=
"POST"
>
名称:<input
type
=text size=20 name=
"dataName"
>
<br>
数值:<input
type
=text size=20 name=
"dataValue"
>
<br>
<input
type
=submit>
<
/form
>
<
/body
>
|
1
2
3
4
5
6
7
8
|
[root@lw-02
test
]
# cat WEB-INF/web.xml
<web-app xmlns=
"http://java.sun.com/xml/ns/j2ee"
xmlns:xsi=
"http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation=
"http://java.sun.com/xml/ns/j2ee [url]http://java.sun.com/xml/ns/j2ee/web-app_2_4.xsd[/url]"
version=
"2.4"
>
<display-name>TomcatDemo<
/display-name
>
<distributable/>
<
/web-app
>
|
到此,所有配置均已完成,启动两个tomcat和apache后,将某一应用同时部署到两个tomcat中,通过apache访问这个应用,观察tomcat后台打出的日志会发现,请求被随机分配给了两个tomcat交替执行。
测试:浏览器打开Apache的web地址:http://192.168.1.110:8088/test/index.jsp(本文Apache服务器地址192.168.1.110端口8088,tomcat地址是192.168.1.111)
测试通过。
参考资源:
tomcat官方关于tomcat集群配置的文档:
http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html
tomcat官方关于Apache Tomcat Connector的文档
http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html
apache官方关于apache的安装文档
http://httpd.apache.org/docs/2.2/en/install.html
apache官方关于configure参数的文档
http://httpd.apache.org/docs/2.2/en/programs/configure.html#installationdirectories
网友:
Apache+Tomcat集群配置:http://www.iteye.com/topic/1017961
Tomcat集群Cluster实现原理剖析:http://zyycaesar.iteye.com/blog/296606
Apache+Tomcat集群配置详解:http://www.iteye.com/topic/985404