Nginx + Memcached + Tomcat 集群 session 共享

一、Tomcat的配置安装

既然是要集群，那自然不可能是一个Tomcat咯。将tomcat的安装包apache-tomcat-6.0.35-windows-x86解压到X:/ (这个路径可以自定义)，重命名加压目录，我将这个目录改名为“tomcat1”（因为还有第二个tomcat），然后COPY一份tomcat1至X:/目录，重命名为“tomcat2”。做完上述工作，我的X盘中tomcat的列表如下图（注意忽略你看到的两个虚拟机目录，呵呵！它们与本次任务不相关）。

 

接下来的任务就是TOMCAT的配置啦！

操作对象：$TOMCAT_HOME/conf/server.xml文件（这里注意两个TOMCAT中的文件都要修改）。

修改内容：三个端口号一个命名。

(1) <Server port="8085" shutdown="SHUTDOWN">   （tomcat2中可以为“8086”）

(2) <Connector port="8080" protocol="HTTP/1.1"       （tomcat2中可以为“8081”）
               connectionTimeout="20000" 
               redirectPort="8443" />

(3) <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />    （tomcat2中可以为“8089”）

(4) <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">   （tomcat2中可以为“tomcat2”）

上面红色部分是需要修改和增加的内容，确保tomcat1和tomcat2两个目录下server.xml中的4个值不相同。

 

下面测试Tomcat是否安装成功。进入$TOMCAT_HOME/bin，运行start.bat文件，出现下图结果，表示tomcat已启动。

按照上述方法同时启动前面安装的两个TOMCAT。打开浏览器，分别输入http://localhost:{端口号}，如果看到Tomcat的欢迎页，一个奔跑中的大猫，表示第一步骤已经成功完成。如果未成功，那就要仔细查看控制台的错误信息，通常是端口号冲突，一定要确保配置的端口号是未使用的端口号。

 

二、Memcached的安装和配置

1、 Memcached的安装

      将安装包memcached-1.2.6-win32-bin解压到X:/目录下面，重命名为memcached。打开命令提示符，进入X:/memcached的目录，输入安装命令“memcached.exe –d install”，安装memcached的windows服务，然后输入“memcached -d start”，以后memcached将作为windows的一个服务每次开机时自动启动。默认端口：11211。

      下面插入介绍一些memcached的常用命名，也是最基本的命令，不然你启动了memcached，不知道怎么停止这个服务了，也不知道是否已经启动该服务。

     (1) 查看memcached的服务是否已经启动：tasklist /fi "imagename eq memcached.exe"，如下图

    

    (2)  memcached参数使用介绍（Win7用户要以管理员身份启动命令窗口哦！）

     -p 监听的端口 
     -l 连接的IP地址, 默认是本机 
     -d start 启动memcached服务 
    -d restart 重起memcached服务 
    -d stop|shutdown 关闭正在运行的memcached服务 
    -d install 安装memcached服务 
    -d uninstall 卸载memcached服务 
    -u 以的身份运行 (仅在以root运行的时候有效)  
    -m 最大内存使用，单位MB。默认64MB 
    -M 内存耗尽时返回错误，而不是删除项 
    -c 最大同时连接数，默认是1024 
    -f 块大小增长因子，默认是1.25 
    -n 最小分配空间，key+value+flags默认是48 
    -h 显示帮助

2. session共享配置

Memcached_Session_Manager，简称msm，这就是一个用于解决分布式tomcat环境下session共享的问题的开源解决方案，具体内容介绍如下

 

（以下内容由个人根据msm官网大意翻译，原文地址：http://code.google.com/p/memcached-session-manager/）

MSM简介

 引言

MSM--memcached session manager是一个高可用的Tomcat session共享解决方案，除了可以从本机内存快速读取Session信息(仅针对黏性Session)外，同时可使用memcached存取Session，以实现高可用。

对于非黏性Session，memcached直接存储session。

除memcached外，还可以其他缓存组件如memcachedb, membase等。

 特性

        支持Tomcat6、Tomcat7

        支持黏性、非黏性Session

        无单一故障点

         可处理tomcat故障转移

         可处理memcached故障转移

         插件式session序列化

         允许异步保存session，以提升响应速度

         只有当session有修改时，才会将session写回memcached

         JMX管理&监控

MSM解决的问题

假设你有一个Tomcat集群，使用黏性session，如何应对单点故障问题？为了应对更多的并发量和可用性，你可以不断的增加Tomcat节点，但是单点故障仍旧会是个问题：如果使用黏性Session，一个Tomcat故障时，其他Tomcat并不能接管故障Tomcat节点的Session。

解决此问题的思路就是将黏性Session同时保存在Memcached中，如果单个Tomcat发生故障，集群中的其他Tomcat可以从Memcached中得到Session信息。

     【注】对于非黏性Session，MSM  V1.4.0及以后版本已经支持。

MSM如何工作

     【注】以下论述仅针对黏性Session

安装在Tomcat上的MSM使用本机内存保存session，和StandardManager一样。另外，当一个请求结束时，session会被送回Memcached进行备份。当下一次请求开始时，本地Session可用，直接服务，请求结束后，session又被送回Memcached备份。

当集群中的一个Tomcat挂掉，下一次请求会被路由到其他Tomcat上。负责处理此此请求的Tomcat并不清楚Session的信息。此时它会从Memcached查找该Session，更新该Session并将其保存在本机内容。此次请求结束，session被修改，送回Memcached备份。

 

 

.

What else？

上边介绍的是处理Tomcat故障转移，MSM又是如何处理Memcached故障转移呢？

如果一个Memcached故障，当前Memcached中的Session会转移到其他Memcached节点，同时，JSESSIONID被修改并送回浏览器。

如果使用黏性Session，应确保loadbalancer中配置生成的JSESSIONID无任何后缀。

SESSIONID的格式

MSM知道Memcached节点列表，这些节点标识会存储在SESSIONID中，SESSIONID值类似：602F7397FBE4D9932E59A9D0E52FE178-n1 【其中n1为Memcached节点标识】

 

安装

 

参考网站：http://code.google.com/p/memcached-session-manager/wiki/SetupAndConfiguration

 

环境

 

1.    Linux 环境

2.    Tomcat7.X （3台），在同一台机器上启动三台Tomcat需要修改conf/server.xml中的三个端口：8080，8005，8009

3.    MemBase （1台），也可采用memcached，使用方法一样，只是在java客户端连接时有不同。

4.    nginx

 

准备的jar包

 

注意：不同的tomcat版本（tomcat6，tomcat7）所需的包不一样，需要针对tomcat版本下载对应的包.

1.这是采用的最新稳定版1.6.1，序列化方式使用的是kryo，注意版本要求与msm版本基本一致，建议统一采用最新稳定版，如下。其中序列化方式是可选的。

2.这是采用的javolution的序列化方式所有需要的包

建议采用kryo序列化方式，效率更高。

 

配置

       1.    将上面所提到的包全部拷贝到tomcat的lib下（三台tomcat都需要）

        2.       修改每台tomcat的conf目录下得context.xml文件或者server.xml文件，在其中加入如下任意一段代码（注意：当使用多台tomcat时，一定要使用non-sticky模式）：

A：使用默认的sticky session，kryo序列化方式，memcached缓存

 

Java代码  

1.   <Context>  

2.     ...  

3.     <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"  

4.       memcachedNodes="n1:host1.yourdomain.com:11211,n2:host2.yourdomain.com:11211"  

5.       failoverNodes="n1"  

6.       requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"  

7.       transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"  

8.       />  

9.   </Context>  

 

B：使用non-sticky session

Java代码  

1.   <Context>  

2.     

3.     ...  

4.     

5.     <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"  

6.    memcachedNodes="n1:host1.yourdomain.com:11211,n2:host2.yourdomain.com:11211"  

7.       sticky="false"  

8.       sessionBackupAsync="false"  

9.       lockingMode="uriPattern:/path1|/path2"  

10.     requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"  

11.  transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"  

12.     />  

13.   

14. </Context>  

C：使用membase

Java代码  

1.   <Context>  

2.     

3.     ...  

4.     

5.     <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"  

6.       memcachedNodes="http://host1.yourdomain.com:8091/pools"  

7.       username="bucket1"  

8.       password="topsecret"  

9.       memcachedProtocol="binary"  

10.     sticky="false"  

11.     sessionBackupAsync="false"  

12.     requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"  

13.  transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"  

14.     />  

15.   

16. </Context>  

当使用javolution序列化方式时将：

Java代码  

1.   transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory”   

替换为： 

 

Java代码  

1.   transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory"   

 

配置完成后，分别启动tomcat，正常启动说明msm配置成功。

3.    最后附上nginx配置：

修改配置文件nginx\conf\nginx.conf

1. 找到内容server {

在它的上面加入如下内容：

 

Java代码  

1.   upstream  10.6.53.120 {  

2.   ip_hash;  ----#ip_hash策略将同一IP的所有请求都转发到同一应用服务器  

3.   server   10.6.53.120:8080;---------我的tomcat端口号  

4.   server   10.6.53.120:7080;  

5.   server   10.6.53.120:6080;  

6.   }<span>(</span><span style="">这是负载切换使用的服务器网站</span><span>IP)</span>  

2. 找到

Java代码  

1.   location / {  

2.   root   html;  

3.   index  index.html index.htm;  

4.   }  

把内容更改如下：

Java代码  

1.   location / {  

2.   proxy_pass http://10.6.53.120  

3.   proxy_redirect default;  

4.   proxy_connect_timeout 10;  added by me(跟代理服务器连接的超时时间,必须留意这个time out时间不能超过10秒.当一台服务器当掉时，过10秒转发到另外一台服务器)  

5.   }   

3.  找到

Java代码  

1.   server {  

2.   listen       80;  

3.   server_name  localhost;  

把内容改成如下：

Java代码  

1.   server {  

2.   listen       80;  

3.   server_name  10.6.53.120;  

 (这是监听访问域名绑定那台服务器80端口的请求)

到这里所有的配置已经完成，现在准备一个简单的web工程，并分别部署到三台tomcat下。启动memcached（membase），启动三台tomcat，启动nginx，然后在地址栏输入url地址，看能否成功访问。关闭其中一台tomcat，看是否仍然能够正常访问，能够则说明配置nginx配置成功。

原理

MSM(memcached-session-manager) 支持tomcat6 和tomcat7 ，利用 Value（Tomcat 阀）对Request进行跟踪。Request请求到来时，从memcached加载session，Request请求结束时，将tomcat session更新至memcached，以达到session共享之目的， 支持 sticky  和 non-sticky 模式。需要注意的是使用sticky模式时需要配置jvmroute参数，配置方式如下：

配置$CATALINA_HOME/conf/server.xml

Java代码  

1.   <Engine name="Catalina"defaultHost="localhost"jvmRoute="tomcat2">  

   注意每台tomcat的jvmroute参数都不能一样

 Sticky 模式：tomcat session 为 主session， memcached 为备 session。Request请求到来时， 从memcached加载备 session 到 tomcat (仅当tomcat jvmroute发生变化时，否则直接取tomcat session)；Request请求结束时，将tomcat session更新至memcached，以达到主备同步之目的。下面是sticky模式时响应的流程图(图片来源网络)：

 

 Non-Sticky模式：tomcat session 为 中转session， memcached1 为主 sessionmemcached 2 为备session。Request请求到来时，从memcached 2加载备 session 到 tomcat，（当 容器 中还是没有session 则从memcached1加载主 session 到 tomcat， 这种情况是只有一个memcached节点，或者有memcached1 出错时），Request请求结束时，将tomcat session更新至 主memcached1和备memcached2，并且清除tomcat session 。以达到主备同步之目的，如下是non-sticky模式的响应流程图：（图片来源网络）。

 

三、Nginx的安装和配置

1、Nginx的安装

将安装包nginx-1.3.0.zip解压到X:/目录，目录重命名为nginx。到这里为止，我表示已经安装完成啦！

启动Nginx：进入X:/nginx目录，执行命令：start nginx.exe，弹出屏会一闪而逝。接着输入tasklist /fi "imagename eq nginx.exe"，出现如下内容，表示nginx已正常启动啦！在浏览器输入http://localhost，可以看到Nginx的欢迎页。

 更多Nginx常用命令：

停止Nginx：nginx.exe -s stop|quit

重启Nginx：nginx.exe -s reload

查看Nginx版本：nginx.exe -v

参考页面：http://hi.baidu.com/ihanxo/blog/item/6d3a8a2688d24ce8d6cae201.html

 

2，Nginx的配置

修改文件$NGINX_HOME/conf/nginx.conf。

  #设定负载均衡的服务器列表

     upstream 127.0.0.1 {

         #weigth参数表示权值，权值越高被分配到的几率越大

         server 127.0.0.1:8081 weight=1;

         server 127.0.0.1:8082 weight=1;

     }

  
    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
            proxy_pass    http://127.0.0.1;
        }

     }

     红色部分是需要在nginx.conf中添加的内容。

     黑色粗体表示当前Nginx监听的主机名和端口号，在浏览器中测试的时候需要输入的内容。

    proxy_pass表示代理主机，upstream 127.0.0.1 {……}配置中配置了代理主机处理请求的两个服务。

    上述配置表示：Nginx监听到http://locahost:80的请求之后，转发到代理127.0.0.1中的两个服务中的一个，有它们来处理请求。weight表示被分配到权重，weight值越大，处理请求的机会越多。

    至此，Nginx的安装与配置结束。

四、测试

配置工作已经结束了，马上开始测试吧！（记得以管理员身份启动命令提示符窗口）

1、启动memcached：进入X:/memcached目录，执行memcached.exe -d start；

2、启动Nginx：进入X:/nginx目录，执行start nginx.exe；

3、启动两个TOMCAT，分别进入$TOMCAT_HOME/bin目录，执行start.bat；

4、准备测试页面test.jsp。

<%@ page contentType="text/html; charset=GBK" %>

<%@ page import="java.util.*" %>

<html><head><title>Cluster Test (TOMCAT1|TOMCAT2)</title></head>

<body>

<%

System.out.println(session.getId());

out.println("<br> This is (TOMCAT1|TOMCAT2), SESSION ID:" + session.getId()+"<br>");

%>

</body>

</html>

      不同的Tomcat下放置不同的文件，以便从结果中看出SESSION共享的效果，即：不论是访问TOMCAT1还是TOMCAT2，session都是不变的，同一个sessioin。

在浏览器输入http://localhost/test.jsp，然后不停的刷新页面，即可看到效果了。

我的页面效果：

 

结果说明：n1:memcached节点ID，我们在$TOMCAT/conf/context.xml中仅配置了一个节点，ID为“n1”，显示的sessionID就是存储在这个节点上的，后面跟着的tomcatN，表示目前所访问的web应用服务器的名称，这个值在$TOMCAT_HOME/conf/server.xml中的<Engine>标签的jvmRoute属性中已配置。