Tomcat 如何实现集群化/session共享（复制）

 

源文档链接: http://tomcat.apache.org/tomcat-9.0-doc/cluster-howto.html

对于高访问量、高并发量的网站或web应用来说，目前最常见的解决方案应该就是利用负载均衡进行server集群，例如比较流行的nginx+memcache+tomcat。集群之后比如我们有N个Tomcat，用户在访问我们的网站时有可能第一次请求分发到tomcat1下，而第二次请求又分发到了tomcat2下，有过web开发经验的朋友都知道这时session不一致会导致怎样的后果，所以我们需要解决一下多个tomcat之间session共享的问题。

Apache Tomcat 9

版本9.0.13， 2018年11月2日

快速设置

只需添加

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

到您<Engine>或您的<Host>元素以启用群集。

使用上述配置将使用DeltaManagerto replicate session deltas 启用所有会话复制。通过all-to-all，我们意味着会话被复制到集群中的所有其他节点。这适用于较小的集群，但我们不建议将其用于较大的集群（很多Tomcat节点）。此外，在使用增量管理器时，它将复制到所有节点，甚至是未部署应用程序的节点。
要解决此问题，您需要使用BackupManager。此管理器仅将会话数据复制到一个备份节点，并且仅复制到已部署应用程序的节点。BackupManager的缺点：不像delta管理器那样经过测试。

以下是一些重要的默认值：

1. 组播地址为228.0.0.4
2. 组播端口为45564（端口和地址共同决定了集群成员资格）
3. 广播的IP是java.net.InetAddress.getLocalHost().getHostAddress()（确保你不是广播到127.0.0.1，这是一个常见的错误）
4. 监听复制消息的TCP端口 4000-4100 是范围内第一个可用的服务器套接字 
5. 配置监听器 ClusterSessionListener
6. 两个拦截器配置TcpFailureDetector和MessageDispatchInterceptor

以下是默认的群集配置：

        <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
                 channelSendOptions="8">

          <Manager className="org.apache.catalina.ha.session.DeltaManager"
                   expireSessionsOnShutdown="false"
                   notifyListenersOnReplication="true"/>

          <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership className="org.apache.catalina.tribes.membership.McastService"
                        address="228.0.0.4"
                        port="45564"
                        frequency="500"
                        dropTime="3000"/>
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                      address="auto"
                      port="4000"
                      autoBind="100"
                      selectorTimeout="5000"
                      maxThreads="6"/>

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatchInterceptor"/>
          </Channel>

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
                 filter=""/>
          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
                    tempDir="/tmp/war-temp/"
                    deployDir="/tmp/war-deploy/"
                    watchDir="/tmp/war-listen/"
                    watchEnabled="false"/>

          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
        </Cluster>

集群基础知识

要在Tomcat 9容器中运行session复制，应完成以下步骤：

• 您的所有session属性都必须实现 java.io.Serializable
• 取消server.xml中的注释元素Cluster
• 如果已定义自定义集群阀，请确保ReplicationValve 在server.xml中的Cluster元素下也已定义
• 如果您的Tomcat实例在同一台机器上运行，请确保该Receiver.port 属性对于每个实例都是唯一的，在大多数情况下，Tomcat会自己解决这个问题（如果没有指定的话），可以通过自动检测4000-4100范围内的可用端口来自行解决此问题。
• 确保你web.xml有 <distributable/>元素
• 如果您使用的是mod_jk，请确保在您的引擎上设置<Engine name="Catalina" jvmRoute="node01" > 了jvmRoute属性，并且jvmRoute属性值与workers.properties中的工作者名称匹配
• 确保所有节点具有相同的时间并与NTP服务同步！
• 确保您的负载均衡（loadbalancer ）器配置为粘性会话( sticky session)模式。

可以通过许多技术实现负载平衡，如 负载平衡章节中所示。

注意：请记住，您的session状态由cookie跟踪，因此您的URL必须从外面看起来相同，否则将创建一个新session。

Cluster模块使用Tomcat JULI日志记录框架，因此您可以通过常规logging.properties文件配置日志记录。要跟踪消息，您可以启用密钥登录：org.apache.catalina.tribes.MESSAGES

概况

要在Tomcat中启用会话复制，可以遵循三个不同的路径来实现完全相同的操作：

1. 使用会话持久性，并将会话保存到共享文件系统（PersistenceManager + FileStore）
2. 使用会话持久性，并将会话保存到共享数据库（PersistenceManager + JDBCStore）
3. 使用内存复制，使用Tomcat附带的SimpleTcpCluster（lib / catalina-tribes.jar + lib / catalina-ha.jar）

在此版本的会话复制中，Tomcat可以使用DeltaManager或仅对一个节点执行备份复制来执行会话状态的全部复制BackupManager。全部复制是一种只在集群很小时才有效的算法。对于较大的群集，要使用主 - 辅助会话复制，其中会话将仅存储在一个备份服务器上，只需设置BackupManager。
目前，您可以使用域工作程序属性（mod_jk> 1.2.8）来构建群集分区，并且可以使用DeltaManager提供更具伸缩性的群集解决方案（您需要为此配置域拦截器）。为了在全面的环境中保持网络流量的下降，您可以将群集拆分为更小的组。这可以通过为不同的组使用不同的多播地址来轻松实现。一个非常简单的设置看起来像这样：

这里重要的是，会话复制只是集群的开始。用于实现群集的另一个流行概念是耕作，即，您只将应用程序部署到一个服务器，群集将在整个群集中分发部署。这是FarmWarDeployer可以使用的所有功能（集群示例server.xml）

集群架构

组件级别

运行机制

为了便于理解聚类的工作原理，我们将引导您完成一系列场景。在该场景中，我们只计划使用两个tomcat实例TomcatA和TomcatB。我们将介绍以下一系列事件：

1. TomcatA 启动
2. TomcatB 启动（等待TomcatA启动完成）
3. TomcatA 接收请求，创建Session 为 S1。
4. TomcatA 崩溃
5. TomcatB 收到 Session 请求 S1
6. TomcatA 启动
7. TomcatA收到请求，调用 session (S1) 的 invalidate 方法使其失效
8. TomcatB接收新会话的请求（S2）
9. TomcatA Session（S2）因不活动而到期。

好的，既然我们有一个很好的序列，我们将带您了解会话复制代码中发生的事情

1. TomcatA 启动

   Tomcat使用标准启动序列启动。创建Host对象时，会将一个群集对象与其关联。解析上下文时，如果可分发元素在web.xml中就位，则Tomcat要求Cluster类（在本例中SimpleTcpCluster）为复制的上下文创建管理器。因此，在启用集群的情况下，web.xml中的可分配集Tomcat将DeltaManager为该上下文创建一个而不是StandardManager。集群类将启动成员资格服务（多播）和复制服务（tcp单播）。有关本文档中的架构的更多信息。

2. TomcatB 启动

   当TomcatB启动时，它遵循与TomcatA相同的序列，但有一个例外。群集已启动并将建立成员身份（TomcatA，TomcatB）。TomcatB现在将从群集中已存在的服务器请求会话状态，在本例中为TomcatA。TomcatA响应请求，在TomcatB开始侦听HTTP请求之前，状态已从TomcatA转移到TomcatB。如果TomcatA没有响应，TomcatB将在60秒后超时，并发出一个日志条目。会话状态将针对在其web.xml中可分发的每个Web应用程序进行传输。注意：要有效地使用会话复制，所有tomcat实例应配置相同。

3. TomcatA接收请求，S1创建会话。

   进入TomcatA的请求与没有会话复制的方式完全相同。当请求完成时，动作发生了ReplicationValve将响应返回给用户之前拦截请求。此时它发现会话已被修改，并使用TCP将会话复制到TomcatB。一旦序列化数据传递到操作系统TCP逻辑，请求就会返回给用户，通过阀门管道返回。对于每个请求，将复制整个会话，这允许在不调用setAttribute或removeAttribute的情况下修改会话中的属性的代码。useDirtyFlag配置参数可用于优化会话复制的次数。

4. TomcatA 崩溃

   当TomcatA崩溃时，TomcatB会收到TomcatA已退出群集的通知。TomcatB从其成员列表中删除TomcatA，TomcatA将不再收到TomcatB中发生的任何更改的通知。负载均衡器会将请求从TomcatA重定向到TomcatB，并且所有会话都是最新的。

5. TomcatB 收到会话请求 S1

   没有什么令人兴奋的，TomcatB将处理请求作为任何其他请求。

6. TomcatA 启动

   启动时，在TomcatA开始接受新请求并使其可用之前，将遵循上述1）2）的启动顺序。它将加入群集，联系TomcatB以获取所有会话的当前状态。一旦收到会话状态，它就会完成加载并打开其HTTP / mod_jk端口。因此，在TomcatB收到会话状态之前，没有任何请求会进入TomcatA。

7. TomcatA收到请求，会话上调用invalidate（S1）

   拦截invalidate调用，并且会话使用无效会话排队。请求完成后，它不会发送已更改的会话，而是向TomcatB发送“过期”消息，TomcatB也会使会话无效。

8. TomcatB接收新会话的请求（S2）

   与步骤3）中的方案相同

9. TomcatA会话S2因不活动而到期。

   拦截无效呼叫与用户无效会话时相同，并且会话使用无效会话排队。此时，无效的会话将不会被复制，直到另一个请求通过系统并检查无效队列。

Phuuuhh！:)

成员资格 聚类成员资格是使用非常简单的多播ping建立的。每个Tomcat实例将定期发送多播ping，在ping消息中，实例将广泛地转换其IP和TCP侦听端口以进行复制。如果实例在给定的时间范围内没有收到此类ping，则该成员被视为已死。很简单，非常有效！当然，您需要在系统上启用多播。

TCP复制 一旦收到组播ping，该成员就会被添加到集群中。在下一次复制请求时，发送实例将使用主机和端口信息并建立TCP套接字。使用此套接字，它将通过序列化数据发送。我选择TCP套接字的原因是它内置了流量控制并保证了交付。所以我知道，当我发送一些数据时，它会在那里:)

使用框架的分布式锁定和页面 Tomcat不会使会话实例在群集中保持同步。这种逻辑的实现将导致很多开销并导致各种问题。如果客户端使用多个请求同时访问同一会话，则最后一个请求将覆盖群集中的其他会话。