异步servlet之continuation

一、背景

为什么要使用异步servlet?异步servlet顾名思义就是异步处理，简单来说就是客户端发起一个http请求之后，服务器端可以将这个请求挂起，那么就腾出了保持客户端可服务器连接的线程（假设为线程A）,注意此时客户端和服务器端的http连接仍然处于保持状态。服务器端可以另外起一个服务器端的线程(假设为线程B)去处理耗时任务，那么线程A就可以供其他客户端来请求占用，当线程B执行完成之后就返回数据给客户端（因为在挂起线程A之前会保存response相关信息）。从表面上看就增大了网络的吞吐量，当然，异步servlet还有很多其他的好处。在servlet3.0之前，是不支持异步的，直到3.0以后，servlet才支持异步。对于使用servlet3.0以下的项目，jetty提供了相应的解决方案，那就是continuation。
jetty之continuation工作原理：它允许将一个请求多次分配到一个servlet上，如果这个servlet没有所需的资源那么它将会被挂起，那么这个servlet将不会有任何响应返回。当等待的资源可以用时，请求会再次分到这个servlet而不用客户端主动请求，将会开启一个新的响应客户端的线程。

二、异步作用

例子1：假如用户需要实时知道服务器端的变化，如股票。那么用户必须与服务器端保持一个长连接（长轮询），每当服务器端有更新时客户端立马获取到响应，否则发起另一个长轮询。假如有1000个用户，web容器就需要使用1000个线程来维持这些用户。如果使用异步那么服务器只需1-10线程来接收这1000个请求，如果没有资源则挂起请求，此时web容器是不占用线程的。
例子2：假如一个请求需要访问数据库，而数据库的访问可能要花费200ms，设想2000个用户同时请求这个连接，那么每秒钟需要400线程，而web容器的线程池此时只有200个线程数。那么还有1000个用户的请求将会延迟1秒才能得到响应。如果使用异步机制，就可以消除这种等待。

三、代码示例

package com.ds.test.asyncservlet;

import java.io.IOException;
import java.io.PrintWriter;

import javax.servlet.ServletException;
import javax.servlet.ServletResponse;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import org.eclipse.jetty.continuation.Continuation;
import org.eclipse.jetty.continuation.ContinuationSupport;
import org.eclipse.jetty.continuation.Servlet3Continuation;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;


/**
 * tomcat6、servlet-all | tomcat7、servlet-3.0以下
 * @Description: TODO
 * @author dingshuo 460215204@qq.com
 * @date 2017年3月10日 下午5:47:31
 */
@Controller
@RequestMapping("/continuationTomcat6")
public class ContinuationTomcat6 {

    @RequestMapping("/login")
    public void toLoginPage(HttpServletRequest request,HttpServletResponse response) throws ServletException, IOException{
        System.out.println("start");
        //Continuation continuation = ContinuationSupport.getContinuation(request);
        Servlet3Continuation continuation = new Servlet3Continuation(request);
        PrintWriter out = response.getWriter();
        if(continuation.isInitial()){
            continuation.setTimeout(5000);  // 可选：设置continuation 超时
            continuation.suspend();
            continuation.setAttribute("response", response);
            new Thread(new work(continuation)).start();
            return;
        }
        if (continuation.isExpired()) {  
            System.out.println("timeout"); 
            out.print("我超时了");
        }
        out.close();
    }

    class work implements Runnable{

        private Continuation continuation;

        public work(Continuation continuation) {
            this.continuation = continuation;
        }

        @Override
        public void run() {
            try {
                Thread.sleep(3000);
                System.out.println("线程执行完毕");
                if(!continuation.isExpired()){
                    ServletResponse response = (ServletResponse) continuation.getAttribute("response");
                    try {
                        PrintWriter out = response.getWriter();
                        out.print("我执行完毕，唤醒了该线程");
                        System.out.println("我执行完毕，唤醒了该线程");
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                    continuation.resume();
                }
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
}

执行结果：
start
线程执行完毕
我执行完毕，唤醒了该线程
start
注意：如果使用servlet3.0以上，需要在web.xml中的servlet和filter中配置<async-supported>true</async-supported>，如果使用springMVC则需要增加如下配置

<mvc:annotation-driven>
        <mvc:async-support default-timeout="5000"/>
    </mvc:annotation-driven>

当然如果不想增加这些配置的话，只需要在挂起之前设置支持异步即可：
request.setAttribute("org.apache.catalina.ASYNC_SUPPORTED", true);

一些方法的解释：

isInitial()：请求第一次进入web容器时返回true,超时或者被唤醒之后再进进入web容器时返回false
suspend()：挂起请求并处理相关ServletResponse
resume()：唤醒挂起的请求，重新分配这个请求
complete()：唤醒挂起的请求，并且结束这个请求