linux tcp fast open,.NET Core 使用 TCP Fast Open (Linux & Windows)

TFO 已经不是个新技术了，哪怕是计算机网络方面最守旧的 Windows 如今也支持了 TFO(虽然只支持客户端，而且疑似不符合规范并且很多 bug)。最近正好做项目时用到了 TFO，因此总结一下 .NET Core 使用 TFO 的方法。

服务端

目前只有 Linux 对 TFO 服务端支持较好，因此我们暂时也只用考虑 Linux。

服务端对应用程序而言支持起来也是最简单的，只需要调用一次setsockopt就可以启用。

可以写一个扩展方法

const int TCP_FASTOPEN_LINUX = 23;

[DllImport("libc.so.6", SetLastError = true)]

static extern unsafe int setsockopt(int sockfd, int level, int optname, void* optval, int optlen);

public static unsafe void EnableLinuxFastOpenServer(this Socket socket)

{

int qlen = 5;

int result = setsockopt(

(int)socket.Handle,

6 /* SOL_TCP */,

TCP_FASTOPEN_LINUX,

&qlen, sizeof(int));

if (result == -1)

{

throw new SocketException(Marshal.GetLastWin32Error());

}

}

对 Socket 调用即可，以 TcpListener 为例

var listener = new TcpListener(endpoint);

listener.Server.EnableLinuxFastOpenServer();

listener.Start();

调用前需要检查 /proc/sys/net/ipv4/tcp_fastopen 的值是否包含 0x2 这个flag。如果不包含则会抛异常。

客户端

Windows

Windows 的 TCP Fast Open 客户端实现是设置 Socket option 之后，调用 Windows Server 2003 / Windows Vista 加入的 ConnectEx，在 lpSendBuffer 中送入初始 buffer。

.NET 并没有任何文档说明如何调用 ConnectEx，不过阅读 CoreFX 和 .NET Framework Reference Source 可以发现， Socket.ConnectAsync(SocketAsyncEventArgs)使用了 ConnectEx，并且将传入的SocketAsyncEventArgs的buffer传递给了ConnectEx。

这样一来我们可以编写一个简单的async扩展方法，实现 Windows 上的 TFO。

const int TCP_FASTOPEN_WINDOWS = 15;

public static void EnableWindowsFastOpenClient(this Socket socket)

{

socket.SetSocketOption(

SocketOptionLevel.Tcp,

(SocketOptionName)TCP_FASTOPEN_WINDOWS,

1);

}

public static Task ConnectAsync(this Socket socket, EndPoint remoteEndPoint, ArraySegment initialData)

{

var tcs = new TaskCompletionSource();

var eventArgs = new SocketAsyncEventArgs();

eventArgs.Completed += (s, e) =>

{

if (e.SocketError == SocketError.Success)

{

tcs.TrySetResult(null);

}

else

{

tcs.TrySetException(new SocketException((int)e.SocketError));

}

};

eventArgs.RemoteEndPoint = remoteEndPoint;

eventArgs.UserToken = tcs;

eventArgs.SetBuffer(initialData.Array, initialData.Offset, initialData.Count);

if (socket.ConnectAsync(eventArgs))

{

return tcs.Task;

}

else

{

return Task.CompletedTask;

}

}

先对Socket调用EnableWindowsFastOpenClient，再调用ConnectAsync即可。如果使用的是低版本的Windows，或用户关闭了 TFO，则EnableWindowsFastOpenClient会抛出异常。

Linux

Linux 有两种 TFO API，一种是使用 sendto+MSG_FASTOPEN 建立连接，支持 3.7+的内核；另一种是使用 TCP_FASTOPEN_CONNECT，支持 4.11+的内核。

.NET 的 Socket 在 Linux 上是一层比较厚的封装，因为参数都是原封不动地从 Winsock 复制站贴，在 Linux 上需要进行转换，自然也不支持调用 sendto 传入 MSG_FASTOPEN；而直接把 fd 拿出来调用原生 sendto 也很麻烦，会破坏一些 managed Socket 的状态，比如私有的 _connected 等，为后续使用带来麻烦。类似的问题还有 macOS 的 TFO，需要使用 connectx() 建立连接，只能等 .NET Core 支持。

相比之下 TCP_FASTOPEN_CONNECT 则是对 Socket 调用者而言完全透明的，它的原理是调用 connect() 时不立刻发送 SYN，而是在第一次调用 send 时发送 SYN (TFO=C) 和 data，此时才真正建立连接。

因此需要做的事情跟 Server 端一样，使用以下扩展方法完成

const int TCP_FASTOPEN_CONNECT = 30;

public static unsafe void EnableLinuxFastOpenConnect(this Socket socket)

{

int val = 1;

int result = setsockopt(

(int)socket.Handle,

6 /*SOL_TCP*/,

TCP_FASTOPEN_CONNECT,

&val, sizeof(int));

if (result == -1)

{

throw new SocketException(Marshal.GetLastWin32Error());

}

}

使用EnableLinuxFastOpenConnect()之后照常使用 Socket API 即可。需要注意的是 Connect 之后一定要保证调用 SendAsync 至少一次，否则连接不会真正建立，此时调用 ReceiveAsync 是不会返回的。

调用 EnableLinuxFastOpenConnect() 之前需要检查 /proc/sys/net/ipv4/tcp_fastopen 的值是否包含 0x1 flag；除此之外还需要检查内核版本是否符合要求(>4.11)，可以通过Environment.OSVersion.Version > new Version(4, 11, 0, 0) 判断。