伪异步IO编程
BIO主要的问题在于每当有一个新的客户端请求接入时,服务端必须创建一个新的线程处理新接入的客户端链路,一个线程只能处理一个客户端连接。在高性能服务器应用领域,往往需要面向成千上万个客户端的并发连接,这种模型显然无法满足高性能、高并发接入的场景。为了改进一线程一连接模型,后来又演进出了一种通过线程池或者消息队列实现1个或者多个线程处理N个客户端的模型,由于它的底层通信机制依然使用同步阻塞I/O,所以被称为“伪异步”。
为了解决同步阻塞I/O面临的一个链路需要一个线程处理的问题,后来有人对它的线程模型进行了优化,后端通过一个线程池来处理多个客户端的请求接入,形成客户端个数M:线程池最大线程数N的比例关系,其中M可以远远大于N,通过线程池可以灵活的调配线程资源,设置线程的最大值,防止由于海量并发接入导致线程耗尽。
当有新的客户端接入的时候,将客户端的Socket封装成一个Task(该任务实现java.lang.Runnable接口)投递到后端的线程池中进行处理,JDK的线程池维护一个消息队列和N个活跃线程对消息队列中的任务进行处理。由于线程池可以设置消息队列的大小和最大线程数,因此,它的资源占用是可控的,无论多少个客户端并发访问,都不会导致资源的耗尽和宕机。
服务端示例:
importjava.io.IOException;importjava.net.ServerSocket;importjava.net.Socket;public classTimeServer {//首先创建一个时间服务器处理类的线程池,当接收到新的客户端连接的时候,将请求Socket封装成一个Task,//然后调用线程池的execute方法执行,从而避免了每个请求接入都创建一个新的线程。
public static void main(String[] args) throwsIOException {int port = 8080;if (args != null && args.length > 0) {try{
port= Integer.valueOf(args[0]);
}catch(NumberFormatException e) {//采用默认值
}
}
ServerSocket server= null;try{
server= newServerSocket(port);
System.out.println("The time server is start in port : " +port);
Socket socket= null;
TimeServerHandlerExecutePool singleExecutor= new TimeServerHandlerExecutePool(50,10000);//创建I/O任务线程池
while (true) {
socket=server.accept();
singleExecutor.execute(newTimeServerHandler(socket));
}
}finally{if (server != null) {
System.out.println("The time server close");
server.close();
server= null;
}
}
}
}importjava.io.BufferedReader;importjava.io.IOException;importjava.io.InputStreamReader;importjava.io.PrintWriter;importjava.net.Socket;public class TimeServerHandler implementsRunnable {privateSocket socket;publicTimeServerHandler(Socket socket) {this.socket =socket;
}
@Overridepublic voidrun() {
BufferedReader in= null;
PrintWriter out= null;try{
in= new BufferedReader(newInputStreamReader(this.socket.getInputStream()));
out= new PrintWriter(this.socket.getOutputStream(), true);
String currentTime= null;
String body= null;while (true) {
body=in.readLine();if (body == null)break;
System.out.println("The time server receive order : " +body);
currentTime= "QUERY TIME ORDER".equalsIgnoreCase(body) ? newjava.util.Date(
System.currentTimeMillis()).toString() :"BAD ORDER";
out.println(currentTime);
}
}catch(Exception e) {if (in != null) {try{
in.close();
}catch(IOException e1) {
e1.printStackTrace();
}
}if (out != null) {
out.close();
out= null;
}if (this.socket != null) {try{this.socket.close();
}catch(IOException e1) {
e1.printStackTrace();
}this.socket = null;
}
}
}
}importjava.util.concurrent.ArrayBlockingQueue;importjava.util.concurrent.ExecutorService;importjava.util.concurrent.ThreadPoolExecutor;importjava.util.concurrent.TimeUnit;public classTimeServerHandlerExecutePool {privateExecutorService executor;public TimeServerHandlerExecutePool(int maxPoolSize, intqueueSize) {
executor= newThreadPoolExecutor(Runtime.getRuntime()
.availableProcessors(), maxPoolSize,120L, TimeUnit.SECONDS,newArrayBlockingQueue(queueSize));
}public voidexecute(java.lang.Runnable task) {
executor.execute(task);
}
}
由于线程池和消息队列都是有界的,因此,无论客户端并发连接数多大,它都不会导致线程个数过于膨胀或者内存溢出,相比于传统的一连接一线程模型,是一种改良。客户端代码并没有改变,详见BIO的类。
伪异步I/O弊端分析
I/O类库输入流InputStreamAPI说明:
当对Socket的输入流进行读取操作的时候,它会一直阻塞下去,直到发生如下三种事件。
有数据可读;
可用数据已经读取完毕;
发生空指针或者I/O异常。
这意味着当对方发送请求或者应答消息比较缓慢、或者网络传输较慢时,读取输入流一方的通信线程将被长时间阻塞,如果对方要60s才能够将数据发送完成,读取一方的I/O线程也将会被同步阻塞60s,在此期间,其他接入消息只能在消息队列中排队。
I/O类库输出流OutputStream的API文档:
当调用OutputStream的write方法写输出流的时候,它将会被阻塞,直到所有要发送的字节全部写入完毕,或者发生异常。学习过TCP/IP相关知识的人都知道,当消息的接收方处理缓慢的时候,将不能及时地从TCP缓冲区读取数据,这将会导致发送方的TCP window size不断减小,直到为0,双方处于Keep-Alive状态,消息发送方将不能再向TCP缓冲区写入消息,这时如果采用的是同步阻塞I/O,write操作将会被无限期阻塞,直到TCP window size大于0或者发生I/O异常。
故障分析
通过对输入和输出流的API文档进行分析,我们了解到读和写操作都是同步阻塞的,阻塞的时间取决于对方I/O线程的处理速度和网络I/O的传输速度。本质上来讲,我们无法保证生产环境的网络状况和对端的应用程序能足够快,如果我们的应用程序依赖对方的处理速度,它的可靠性就非常差。也许在实验室进行的性能测试结果令人满意,但是一旦上线运行,面对恶劣的网络环境和良莠不齐的第三方系统,问题就会如火山一样喷发。
伪异步I/O实际上仅仅只是对之前I/O线程模型的一个简单优化,它无法从根本上解决同步I/O导致的通信线程阻塞问题。下面我们就简单分析下如果通信对方返回应答时间过长,会引起的级联故障。
(1)服务端处理缓慢,返回应答消息耗费60s,平时只需要10ms。
(2)采用伪异步I/O的线程正在读取故障服务节点的响应,由于读取输入流是阻塞的,因此,它将会被同步阻塞60s。
(3)假如所有的可用线程都被故障服务器阻塞,那后续所有的I/O消息都将在队列中排队。
(4)由于线程池采用阻塞队列实现,当队列积满之后,后续入队列的操作将被阻塞。
(5)由于前端只有一个Accptor线程接收客户端接入,它被阻塞在线程池的同步阻塞队列之后,新的客户端请求消息将被拒绝,客户端会发生大量的连接超时。
(6)由于几乎所有的连接都超时,调用者会认为系统已经崩溃,无法接收新的请求消息。