windows环境 Apache负载均衡及session共享环境搭建

第1章   概述

1.1 背景介绍

为了提高系统的高可用性及系统性能，我们常常会用到负载平衡，通过某种负载分担技术，将外部发送来的请求均匀分配到某一台服务器上，而接收到请求的服务器独立地回应客户的请求。均衡负载能够平均分配客户请求到服务器列阵，籍此提供快速获取重要数据，解决大量并发访问服务问题。

在负载均衡集群下，除了要把请求按指定要求分发到不同的服务器上，还有一个关键问题就是session的共享。当集群中的一个Tomcat挂掉，下一次请求会被路由到其他Tomcat上，而之前的session信息必须被重新获取以保证用户访问状态不会发生变化。

1.2 相关术语

 

简写	名称	描述
Apache	Apache  HTTP Server	Apache软件基金会的一个开放源码的网页服务器
Tomcat	Tomcat  服务器	一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用。
Session	会话	存储整个用户会话过程中保持其状态的信息，例如登录信息或用户浏览 Web应用程序时需要的其它信息。
mod_proxy	Apache模块：proxy_module	提供HTTP/1.1代理/网关功能支持
mod_proxy_balancer	Apache模块：proxy_balancer_module	mod_proxy的扩展，提供负载平衡支持
Memcached	分布式缓存服务器	是一个高性能的分布式内存对象缓存系统，
MSM	memcached-session-manager	一个高可用的Tomcat session共享解决方案

第2章   架构

2.1 总体架构

在负载均衡集群中，同一个web应用部署在多个tomcat服务器下，用户发送请求时，Apache对请求统一管理，分发到不同的tomcat下，每个用户对应的session信息保存到指定的memcached节点。总体架构如下图所示：

2.2 主要模块

2.2.1 负载均衡模块

负载均衡模块可以采用mod_proxy_blancer或mod_jk方式。

Ø  mod_proxy_balancer：mod_proxy是一种分工合作的形式，通过主服务器跳转到各台主机负责不同的任务而实现任务分工，这种形式不能实现负载均衡，只能提供主服务器的访问跳转。mod_proxy_balancer是mod_proxy的扩展，提供负载平衡支持，通过mod_proxy_balancer.so包实现负载均衡。

Ø  mod_jk：mod_jk是比较专门针对Tomcat的方法，通过AJP协议连接Tomcat。一个HTTP请求过来，mod_jk模块根据其URI选择合适的worker来进行处理。如果是lb_worker（负载均衡的worker），就再根据各种条件选择后台合适的ajp_worker（处理AJP协议的worker）。ajp_worker将HTTP协议的包，组装成AJP协议格式的包，然后选取一条空闲的链接，发送给后台的tomcat服务器。等到后台将数据发送过来时，接收并解析AJP协议，重新组装成HTTP协议，然后把结果发送给客户端。

2.2.2 session共享模块

在生产环境中可能会有多台tomcat服务器以及多台可用的memcached节点，并安装在不同的机器上，我们可以使用黏性session（sticky sessions）或者非黏性session（non-sticky sessions），memcached-session-manager(msm) 对这两种操作模式都支持。

Sticky 模式： tomcatsession 为 主session， memcached 为备 session。Request请求到来时， 从memcached加载备 session到 tomcat (仅当tomcat jvmroute发生变化时，否则直接取tomcat session)；Request请求结束时，将tomcat session更新至memcached，以达到主备同步之目的。

Non-Sticky模式：tomcatsession 为 中转session， memcached1为主 sessionmemcached 2 为备session。Request请求到来时，从memcached 2加载备 session 到 tomcat，（当 容器 中还是没有session 则从memcached1加载主 session 到 tomcat， 这种情况是只有一个memcached节点，或者有memcached出错时），Request请求结束时，将tomcat session更新至主memcached1和备memcached2，并且清除tomcat session，以达到主备同步之目的。

第3章 搭建步骤

3.1 软件环境

Apache负载均衡及session共享环境部署软件配置:

名称	版本	用途
Apache	2.2.19	主服务器
JDK	SUN 1.7.u.75	JDK环境
Tomcat	7.0.59	Web应用容器
mod_jk-1.2.6-httpd-2.2.4.so	1.2.6	用于mod_jk方式的支持模块
Memcached	1.4.4	实现不同服务器间session的共享

3.2 安装配置

3.2.1 负载均衡配置

Ø  mod_proxy_balancer方式的配置：

1)     安装JDK1.7：(略)；

2)     安装tomcat7：(略)；

3)     安装Apache2.2.19：

① 将zip后缀的程序包解压到某目录下；

② 编辑根程序目录下conf/httpd.conf文件里面的内容，将“ServerRoot”后面的路径改为解压后的实际路径；

③ 以管理员身份运行cmd命令窗口，切换到Apache的程序目录/bin，执行命令“httpd –k install”，然后可以在windows服务列表看到Apache2.2，可以通过服务列表直接启动该服务；

④ 打开浏览器，输入localhost，如果出现“It works!”则表明已安装成功。

4)     配置Apache：

①    打开Apache根程序目录下conf/httpd.conf，取消下面四行的注释，用以打开代理所需的.so支持模块。

#LoadModule  proxy_http_module modules/mod_proxy_http.so #LoadModule  proxy_connect_module modules/mod_proxy_connect.so #LoadModule  proxy_module modules/mod_proxy.so #LoadModule  proxy_module modules/mod_proxy_blancer.so

②    在httpd.conf末尾添加如下内容：

ProxyPass  / balancer://tomcatcluster/ ProxyPassReverse  / balancer://tomcatcluster/ <Proxy  balancer://tomcatcluster>  BalancerMember  ajp://localhost:8009 route=tomcat1 BalancerMember  ajp://202.120.87.134:8009 route=tomcat2 </Proxy>

5)     配置tomcat：

①    修改tomcat安装目录下conf/server.xml，在<Engine>标签内添加jvmRoute属性，属性值和Apache配置文件中的route一致。<Enginename=”Catalina” defaultHost=”localhost” jvmRoute=”tomcat1”>；

②    将<Cluster className=”org.apache.catalina.ha.tcp.SimpleTcpCluster”></Cluster>的注释符去掉；

③    将同样的tomcat复制到其他服务器目录下，将第①步中的jvmRoute的值改为和Apache配置文件中的route相对应。如果是在同一台机器安装多个tomcat，还需要更改对应的端口号以防止端口冲突。

至此，已完成mod_proxy_balancer方式的配置。

Ø  mod_jk方式的配置：

1)     安装JDK1.7，tomcat7，Apache2.2.19（方法同上）；

2)     在apache根程序目录下conf/httpd.conf文件最后添加一句“include conf/mod_jk.conf”；

3)     将mod_jk-1.2.6-httpd-2.2.4.so拷贝到modules文件夹下，httpd.conf 同目录下新建mod_jk.conf文件，内容如下:

LoadModule  jk_module modules/mod_jk.so JkWorkersFile  conf/workers.properties JkMount  /* controller

4)     在httpd.conf同目录下新建workers.properties文件，内容如下：

worker.list  = controller,tomcat1,tomcat2 #========tomcat1======== worker.tomcat1.port=8009 worker.tomcat1.host=localhost worker.tomcat1.type=ajp13 worker.tomcat1.lbfactor=1 #========tomcat2======== worker.tomcat2.port=8009 worker.tomcat2.host=202.120.87.134 worker.tomcat2.type=ajp13 worker.tomcat2.lbfactor=2 #========controller======== worker.controller.type=lb worker.controller.balanced_workers=tomcat1,tomcat2 worker.controller.sticky_session=false

5)     配置tomcat(方法同mod_proxy_balancer方式第六步)。

3.2.2 session共享配置

1)     安装Memcached1.4：

① 将zip后缀的程序包解压到某目录下；

② 以管理员身份运行cmd命令窗口，切换到memcached的程序目录/bin,执行命令“memcached.exe –d install”，然后可以在windows服务列表看到memcached，可以通过服务列表直接启动该服务。

2)     将以下jar包拷贝到tomcat的lib目录下：

spymemcached-2.11.1.jar,couchbase-client-1.2.2.jar, minlog-1.2.jar, kryo-serializers-0.11.jar,msm-kryo-serializer-1.8.3.jar, kryo-1.04.jar, reflectasm-1.09-shaded.jar,couchbase-client-1.4.0.jar, asm-3.2.jar,msm-serializer-benchmark-1.8.3.jar, memcached-session-manager-1.8.3.jar,msm-javolution-serializer-1.8.3.jar,memcached-session-manager-tc7-1.8.3.jar

3)     修改tomcat安装目录下conf/context.xml，在<context>标签内添加如下内容：

<Manager  className=”de.javakaffee.web.msm.MemcachedBackupSessionManager” memcachedNodes=”n1:202.120.87.217:11211,n2:202.120.87.134:11211”  sticky=”false” sessionBackupAsync=”false” lockingMode=”auto” requestUriIgnorePattern=”.*\.(ico|png|gif|jpg|css|js)$”  transcoderFactoryClass=”de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory”  />

 

3.3 应用验证

在tomcat的webapps目录下新建文件夹test，创建文件test.jsp，内容如下：

<%@  page contentType=”text/html; charset=utf-8” %> <%@  page import=”java.util.*” %> <html><head><title>Cluster  App Test</title></head> <body> <%     System.out.println(“SessionID:”  + session.getId()); %> Server  Info: <% out.println(request.getServerName()  + “ : “ + request.getServerPort()+”<br>”); %> <%   out.println(“<br>ID“+session.getId()+”<br>”);  //如果有新的Session属性设置   String dataName = request.getParameter(“dataName”);   if (dataName != null &&  dataName.length() > 0) {      String dataValue = request.getParameter(“dataValue”);      session.setAttribute(dataName,  dataValue);   }   out.print(“<b>Session 列表</b><br>”);   Enumeration e =  session.getAttributeNames();   while (e.hasMoreElements()) {      String name = (String)e.nextElement();      String value = session.getAttribute(name).toString();      out.println( name + “ = “ + value+”<br>”);          System.out.println( name + “ = “ +  value);    } %>   <form action=”test.jsp” method=”post”> 名称:<input type=text size=20 name=”dataName”> <br> 数值:<input type=text size=20 name=”dataValue”> <br>     <input type=submit>    </form> </body> </html>

在浏览器中输入localhost/test/test.jsp，看到如下界面：

在文本框中随便输入一些字母数字，可以看到各个tomcat窗口会轮流显示当前的session信息，而且前一个tomcat的session信息跳转到下一个tomcat时不会丢失。