Apache + Tomcat 集群安装与配置

最近项目需要用到Apache + Tomcat 集群，研究了一下，经过大量测试，可以用于生产环境。（不同版本配置可能有不同之处，其它版本需要自己测试） 

所需软件列表： 
Apache 2.2.27 
Tomcat 6.0.39 

安装环境： 
RedHat 6.3 

一. HTTP Server安装  

安装过程  
以root用户身份登陆，创建Apache HTTP Server相关账户，文档中安装路径为/usr/local/apache2，以实际路径为准。 

1. 进入下载好的httpd-2.2.27.tar.gz文件所在目录，执行解压操作： 
tar -zxvf httpd-2.2.27.tar.gz 

2. 进入解压出的文件夹根目录： 
cd httpd-2.2.27 

3. 进行编译参数配置： 
./configure --prefix=/usr/local/apache2 --enable-mods-shared=all 

4. 编译安装： 
make 
编译成功后再执行安装 
make install 

5. 启动和关闭apache 
完成上述步骤后，apache的安装就结束了，通过下面的命令启动和关闭apache： 
启动： 
/usr/local/apache2/bin/apachectl start 
关闭： 
/usr/local/apache2/bin/apachectl stop 


安装、启动过程可能出现的错误及解决方法  
1. 安装apache过程中报Cannot use an external APR with the bundled APR-util错误，解决方法是安装apache2.2.x自身携带的apr,方法为： 
A. 进入apache2.2.x自带apr的安装目录 
cd srclib/apr 
B. 安装apr(此处将之安装在/usr/local/apr下，如果系统中已经安装apr，可找到安装目录进行覆盖) 
./configure --prefix=/usr/local/apr 
执行成功后进行编译 
make 
最后执行安装 
make install 
C. 安装apr-util 
./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr 
执行成功后进行编译 
make 
最后执行安装 
make install 
D. 使用新安装的apr重新进行apache编译配置 
返回安装根目录httpd-2.2.27，执行： 
./configure --prefix=/usr/local/apache2 --enable-mods-shared=all --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --enable-so --enable-dav --enable-mainer-mode --enable-rewrite --with-included-apr 
执行成功后进行编译 
make 
最后执行安装 
make install 

2. 执行make install命令时出现libtool: install: error: cannot install `libaprutil-1.la' to a directory not ending in /usr/local/apache2/lib 
A. 执行make clean后，重新编译安装。 
B. 删除source code目录，重新解压apache安装包，进行编译安装。 

3. 安装时出现checking whether to enable mod_deflate... configure: error: mod_deflate has been requested but can not be built due to prerequisite failures错误 
出现该错误时由于少了zlib包导致的， 
centos下可以采用yum install zlib-devel， 
ubuntu下可以采用apt-get install zlib1g-dev， 
suse下用yast -i zlib-devel命令解决； 

4. 启动apache遇到错误：httpd: Could not reliably determine the server's fully qualified domain name 
A. 进入apache安装目录下的conf 
B. 编辑httpd.conf文件，搜索"#ServerName" 
改为：ServerName localhost:8001，保存后退出 
C. 重新启动apache即可 
./apachectl stop 
./apachectl start 
启动后可以用命令查看是否正常： 
ps - ef|grep httpd 
可以看到有多条记录，如xx/xx/bin/httpd -k start 

补充： 
如果你安装是apache-2.4以上版本，有以下几点不同： 
1. 需要单独下载apr和apr-util 
apr下载地址：http://mirror.bjtu.edu.cn/apache/apr/apr-1.5.1.tar.gz 
apr-util下载地址：http://mirror.bjtu.edu.cn/apache/apr/apr-util-1.5.3.tar.gz 

2. 此外还需要安装pcre 
在http://pcre.org/ 下载pcre，解压进入源码目录执行： 
./configure --prefix=/usr/local/pcre 
注：/usr/local/pcre以实际安装路径为准。 

3. 最后安装apache时configure需要这样配置： 
./configure --prefix=/usr/local/apache2 --enable-mods-shared=all --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --with-pcre=/usr/local/pcre --enable-so --enable-dav --enable-mainer-mode --enable-rewrite --with-included-apr 
再执行编译安装。 
make 
成功后执行 
make install 

Apache添加模块  
进入apache安装源文件目录下的modules/proxy，依次执行以下命令： 
/usr/local/apache2/bin/apxs -c -i -a mod_proxy.c proxy_util.c 
/usr/local/apache2/bin/apxs -c -i -a mod_proxy_ajp.c ajp*.c 
/usr/local/apache2/bin/apxs -c -i -a mod_proxy_balancer.c proxy_util.c 
/usr/local/apache2/bin/apxs -c -i -a mod_proxy_connect.c proxy_util.c 
/usr/local/apache2/bin/apxs -c -i -a mod_proxy_ftp.c proxy_util.c 
/usr/local/apache2/bin/apxs -c -i -a mod_proxy_http.c proxy_util.c 
成功后会在/usr/local/apache2/modules/目录下分别生成mod_proxy.so、mod_proxy_ajp.so、mod_proxy_balancer.so、mod_proxy_connect.so、mod_proxy_ftp.so、mod_proxy_http.so文件，并自动将模块添加到httpd.conf文件中； 


二. 开启tomcat集群支持  
同样是在conf/server.xml文件里，需要做的改动有： 
1. 找到<Engine name="Catalina" defaultHost="localhost">，添加jvmRoute参数，改动后如：<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm1">，在apache-tomcat-6.0.39-1中为jvm1，则apache-tomcat-6.0.39-2中为jvm2，该名字可以随便起，只要不同tomcat配置为不同且唯一的值即可。 

2. 找到被注释掉的<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>，在下面添加以下信息： 

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" 
                 channelSendOptions="6"> 

          <Manager className="org.apache.catalina.ha.session.BackupManager" 
                   expireSessionsOnShutdown="false" 
                   notifyListenersOnReplication="true" 
                   mapSendOptions="6"/> 

          <Channel className="org.apache.catalina.tribes.group.GroupChannel"> 
            <Membership className="org.apache.catalina.tribes.membership.McastService" 
                        address="224.0.0.0" 
                        port="45564" 
                        frequency="500" 
                        dropTime="3000"/> 
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver" 
                      address="192.168.1.100" 
                      port="4000" 
                      autoBind="100" 
                      selectorTimeout="5000" 
                      maxThreads="6"/> 

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter"> 
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/> 
            </Sender> 

            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/> 
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/> 
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/> 
          </Channel> 

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" 
                 filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/> 

          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/> 
</Cluster> 

需要改动的地方 ：Receiver节点下的address为机器的ip地址，port可根据实际配置（数值范围为4000至4100），如apache-tomcat-6.0.39-1配置为4000，apache-tomcat-6.0.39-2配置为4001，其它地方不需要改变（注：即使tomcat服务器不在同一台机器上，也不要将端口配置成一样的）。 

3. 修改项目的web.xml文件 
在web.xml的web-app标签内添加<distributable /> 即可。 


开启网卡组播功能(windows下不需要该操作)  
在上一章节中，Membership用于发现集群中的其他节点，这里的address用的是组播地址, 使用同一个组播地址和端口的多个节点同属一个子集群，因此需要开启网卡的组播功能 
route add -net 224.0.0.0 netmask 240.0.0.0 dev eth0 
只需要将eth0改为实际使用的网卡名，在不同机器上可能不一样，可以通过ifconfig查看实际名称，仅需要把eth0改为实际服务器的网卡名即可。 
使用route -e命令可以查看是否执行成功，查询后有类似信息： 
224.0.0.0    *     240.0.0.0     U     0      0       0     eth0 

注：上面的修改是临时的，机器重启后就该配置就无效了，如果需要永久生效，则需作以下处理： 
1. 使用root管理员登录后，在/etc/sysconfig目录下创建static-routes文件，文件内容如下： 
any net 224.0.0.0 netmask 240.0.0.0 dev eth0 
需要将eth0改为实际服务器的网卡名 
2. 修改network文件，使用vi命令编辑/etc/init.d/network文件，在文件的末尾exit $rc前面加上以下内容： 
# Add non interface-specific static-routes. 
if [ -f /etc/sysconfig/static-routes ]; then 
  grep "^any" /etc/sysconfig/static-routes | while read ignore args ; do 
      /sbin/route add -$args 
  done 
fi 
保存后使用network restart命令重启网络连接即可。 


配置字符集  
进入Tomcat下的conf目录，修改server.xml文件，找到AJP的Connector节点，添加URIEncoding="UTF-8"属性，修改后如下： 
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8" /> 
注：集群下的所有tomcat都要做对应修改。 


配置初始化内存  
进入Tomcat下的bin目录，使用vi命令编辑catalina.sh文件，加上 
JAVA_OPTS="-server -Xms256m -Xmx512m -XX:PermSize=128m -XX:MaxNewSize=256m -XX:MaxPermSize=512m" 
具体大小请根据实际环境调整。 
注：集群下的所有tomcat都要做对应修改。 



三. Apache HTTP Server配置  
配置httpd.conf文件  
进入apache安装目录下的conf文件夹，如本文中的 
cd /usr/local/apache2/conf/，使用vi命令对httpd.conf进行编辑， 
1. 找到Listen 80，其中80为apache的监听端口(即对外的访问端口)，需要修改为以下格式：Listen ip地址:端口，如Listen 172.17.234.163:8001 

2. 找到<IfModule dir_module>节点，添加index.jsp，如 
<IfModule dir_module> 
DirectoryIndex index.html index.jsp 
</IfModule> 

3. 在httpd.conf配置文件的最后加上 
ProxyRequests Off 
ProxyPreserveHost on 
ProxyPass / balancer://cluster/ stickysession=JSESSIONID|jsessionid nofailover=Off timeout=5 maxattempts=3 
<Proxy balancer://cluster> 
BalancerMember ajp://192.168.1.100:8009 loadfactor=1 route=jvm1 
BalancerMember ajp://192.168.1.100:9009 loadfactor=1 route=jvm2 
ProxySet lbmethod=bytraffic 
</Proxy> 
其中BalancerMember节点后面的ip地址为tomcat所在机器的ip址址，端口为tomcat配置文件server.xml中AJP的实际端口，jvm1则为tomcat中所做的配置，实际有多少台tomcat服务器，则添加对应数量的BalancerMember节点信息。 


以上配置能实现会话复制、故障转移、负载均衡、同一个会话始终由集群下的某个机器提供（除非机器出现故障、宕机），欢迎大家提出意见、建议，大家共同进步。