网络编程中Nagle算法和Delayed ACK的测试

网络编程中Nagle算法和Delayed ACK的测试


[url=http://en.wikipedia.org/wiki/Nagle%27s_algorithm]Nagle[/url]算法的立意是良好的，避免网络中充塞小封包，提高网络的利用率。但是当Nagle算法遇到[url=http://en.wikipedia.org/wiki/TCP_delayed_acknowledgment]delayed ACK[/url]悲剧就发生了。Delayed ACK的本意也是为了提高TCP性能，跟应答数据捎带上ACK，同时避免[url=http://hi.baidu.com/iruler/blog/item/ac2661f4c4aabe63ddc474ae.html]糊涂窗口综合症[/url]，也可以一个ack确认多个段来节省开销。
悲剧发生在这种情况，假设一端发送数据并等待另一端应答，协议上分为头部和数据，发送的时候不幸地选择了write-write，然后再read，也就是先发送头部，再发送数据，最后等待应答。发送端的伪代码是这样

write(head);   
write(body);   
read(response);  

接收端的处理代码类似这样：

read(request);   
process(request);   
write(response);  

writev是系统调用，在Java里是用到GatheringByteChannel.write(ByteBuffer[] srcs, int offset, int length)方法来做聚集写。这里可能还有一点值的提下，很多同学看java nio框架几乎都不用这个writev调用，这是有原因的。主要是因为Java的write本身对ByteBuffer有做临时缓存，而writev没有做缓存，导致测试来看write反而比writev更高效，因此通常会更推荐用户将head和body放到同一个Buffer里来避免调用writev。

下面我们将做个实际的代码测试来结束讨论。这个例子很简单，客户端发送一行数据到服务器，服务器简单地将这行数据返回。客户端发送的时候可以选择分两次发，还是一次发送。分两次发就是write-write-read，一次发就是write-read-write-read，可以看看两种形式下延迟的差异。注意，在windows上测试下面的代码，客户端和服务器必须分在两台机器上，似乎winsock对loopback连接的处理不一样。

服务器源码：

package net.fnil.nagle;   

import java.io.BufferedReader;   
import java.io.InputStream;   
import java.io.InputStreamReader;   
import java.io.OutputStream;   
import java.net.InetSocketAddress;   
import java.net.ServerSocket;   
import java.net.Socket;   


public class Server {   
    public static void main(String[] args) throws Exception {   
        ServerSocket serverSocket = new ServerSocket();   
        serverSocket.bind(new InetSocketAddress(8000));   
        System.out.println("Server startup at 8000");   
        for (;;) {   
            Socket socket = serverSocket.accept();   
            InputStream in = socket.getInputStream();   
            OutputStream out = socket.getOutputStream();   

            while (true) {   
                try {   
                    BufferedReader reader = new BufferedReader(new InputStreamReader(in));   
                    String line = reader.readLine();   
                    out.write((line + "\r\n").getBytes());   
                }   
                catch (Exception e) {   
                    break;   
                }   
            }   
        }   
    }   
}  

服务端绑定到本地8000端口，并监听连接，连上来的时候就阻塞读取一行数据，并将数据返回给客户端。

客户端代码：

public static void main(String[] args) throws Exception {   
        // 是否分开写head和body   
        boolean writeSplit = false;   
        String host = "localhost";   
        if (args.length >= 1) {   
            host = args[0];   
        }   
        if (args.length >= 2) {   
            writeSplit = Boolean.valueOf(args[1]);   
        }   

        System.out.println("WriteSplit:" + writeSplit);   

        Socket socket = new Socket();   

        socket.connect(new InetSocketAddress(host, 8000));   
        InputStream in = socket.getInputStream();   
        OutputStream out = socket.getOutputStream();   

        BufferedReader reader = new BufferedReader(new InputStreamReader(in));   

        String head = "hello ";   
        String body = "world\r\n";   
        for (int i = 0; i < 10; i++) {   
            long label = System.currentTimeMillis();   
            if (writeSplit) {   
                out.write(head.getBytes());   
                out.write(body.getBytes());   
            }   
            else {   
                out.write((head + body).getBytes());   
            }   
            String line = reader.readLine();   
            System.out.println("RTT:" + (System.currentTimeMillis() - label) + " ,receive:" + line);   
        }   
        in.close();   
        out.close();   
        socket.close();   
    }   

}  

客户端通过一个writeSplit变量来控制是否分开写head和body，如果为true，则先写head再写body，否则将head加上body一次写入。客户端的逻辑也很简单，连上服务器，发送一行，等待应答并打印RTT，循环10次最后关闭连接。

首先，我们将writeSplit设置为true，也就是分两次写入一行，在我本机测试的结果，我的机器是ubuntu 11.10：

WriteSplit:true  
RTT:8 ,receive:hello world   
RTT:40 ,receive:hello world   
RTT:40 ,receive:hello world   
RTT:40 ,receive:hello world   
RTT:39 ,receive:hello world   
RTT:40 ,receive:hello world   
RTT:40 ,receive:hello world   
RTT:40 ,receive:hello world   
RTT:40 ,receive:hello world   
RTT:40 ,receive:hello world  

可以看到，每次请求到应答的时间间隔都在40ms，除了第一次。linux的delayed ack是40ms，而不是原来以为的200ms。第一次立即ACK，似乎跟linux的quickack mode有关，这里我不是特别清楚，有比较清楚的同学请指教。

接下来，我们还是将writeSplit设置为true，但是客户端禁用nagle算法，也就是客户端代码在connect之前加上一行：

Socket socket = new Socket();   
socket.setTcpNoDelay(true);   
socket.connect(new InetSocketAddress(host, 8000));  

再跑下测试：

WriteSplit:true  
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:1 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world

这时候就正常多了，大部分RTT时间都在1毫秒以下。果然禁用Nagle算法可以解决延迟问题。
如果我们不禁用nagle算法，而将writeSplit设置为false，也就是将head和body一次写入，再次运行测试（记的将setTcpNoDelay这行删除）：

WriteSplit:false  
RTT:7 ,receive:hello world   
RTT:1 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world   
RTT:0 ,receive:hello world  

结果跟禁用nagle算法的效果类似。既然这样，我们还有什么理由一定要禁用nagle算法呢？通过我在xmemcached的压测中的测试，启用nagle算法在小数据的存取上甚至有一定的效率优势，memcached协议本身就是个连续的请求应答的模型。上面的测试如果在 windows上跑，会发现RTT最大会在200ms以上，可见winsock的delayed ack超时是200ms。

最后一个问题，什么情况下才应该禁用nagle算法？当你的应用不是这种连续的请求——应答模型，而是需要实时地单向发送很多小数据的时候或者请求是有间隔的，则应该禁用nagle算法来提高响应性。一个最明显是例子是telnet应用，你总是希望敲入一行数据后能立即发送给服务器，然后马上看到应答，而不是说我要连续敲入很多命令或者等待200ms才能看到应答。

上面是我对nagle算法和delayed ack的理解和测试，有错误的地方请不吝赐教。

转载:http://www.iteye.com/topic/1110883