一个Queue还是两个Queue
IPC/IP栈对一个处于LISTEN状态的socket有两种实现backlog queue的方式。
一个Queue
一个Queue能够包含两种状态的Connections：
SYN RECEIVED
ESTABLISHED
只有ESTABLISHED状态的Connection才能被应用通过syscall accept()方法获取到。
因此，该队列的长度由listen()的参数backlog决定。
一个SYN Queue 和 一个Accept Queue
这种情况下，处于SYN RECEIVED状态的connection将会被添加到SYN queue，然后当连接状态变成ESTABLISHED时再把其移动到Accept queue中。
因此，Accept queue只存储等待accept()调用的connection。
不像前一个示例，linsten() syscall的参数backlog此时决定了Accept queue的大小。
BSD
BSD选择了一个queue作为了它的实现(尽管事实上它内部使用了两个queue)。
当queue满时，它会简单的丢弃SYN包，并让客户端重试，而不会向接收到的SYN包发送SYN/ACK包。
Linux
从Linux 2.2起，Linux使用了两个queue：
backlog表示Accept queue的最大长度
/proc/sys/net/ipv4/tcp_max_syn_backlog表示SYN queue的最大长度；新内核使用的是/proc/sys/net/core/somaxconn(也叫net.core.somaxconn)
从客户端的角度来看，一个connection在接收到SYN/ACK包后，其状态就成为了ESTABLISHED。
当SYN Queue满了
当接收到一个SYN包但SYN Queue满时：
若设置 net.ipv4.tcp_syncookies = 0 ，则直接丢弃当前 SYN 包；
若设置 net.ipv4.tcp_syncookies = 1 ，则令 want_cookie = 1 继续后面的处理；若 Accept queue 已满，并且 qlen_young 的值大于 1 ，则直接丢弃当前 SYN 包。req_young_len是SYN Queue中还没有重新发送的SYN/ACK包的连接数。
若 Accept queue 未满，或者 qlen_young 的值未大于 1 ，则输出 “possible SYN flooding on port %d. Sending cookies.\n”，生成 syncookie 并在 SYN,ACK 中带上。
以下源码摘自linux-2.6.32版本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62int tcp_v4_conn_request(struct sock *sk, struct sk_buff *skb)
{
...
#ifdef CONFIG_SYN_COOKIES
int want_cookie = 0;
#else
#define want_cookie 0 /* Argh, why doesn't gcc optimize this :( */
#endif
...
/* TW buckets are converted to open requests without
* limitations, they conserve resources and peer is
* evidently real one.
*/
// 判定 SYN queue 是否已满
if (inet_csk_reqsk_queue_is_full(sk) && !isn) {
#ifdef CONFIG_SYN_COOKIES
if (sysctl_tcp_syncookies) { // SYN queue 已满，并且设置了 net.ipv4.tcp_syncookies = 1 ，则设置 want_cookie = 1 以便后续处理
want_cookie = 1;
} else
#endif
goto drop; // 否则，直接丢弃当前 SYN 包
}
/* Accept backlog is full. If we have already queued enough
* of warm entries in syn queue, drop request. It is better than
* clogging syn queue with openreqs with exponentially increasing
* timeout.
*/
// 若此时 accept queue 也已满，并且 qlen_young 的值大于 1(即保存在 SYN queue 中未进行 SYN,ACK 重传的连接超过 1 个)
// 则直接丢弃当前 SYN 包(相当于针对 SYN 进行了速率限制)
if (sk_acceptq_is_full(sk) && inet_csk_reqsk_queue_young(sk) > 1)
goto drop;
...
// 若 accept queue 未满，或者 qlen_young 的值未大于 1
if (want_cookie) {
#ifdef CONFIG_SYN_COOKIES
syn_flood_warning(skb); // 输出 "possible SYN flooding on port %d. Sending cookies.\n"
req->cookie_ts = tmp_opt.tstamp_ok; // 为当前 socket 设置启用 cookie 标识
#endif
// 生成 syncookie
isn = cookie_v4_init_sequence(sk, skb, &req->mss);
} else if (!isn) {
...
}
// 保存 syncookie 值
tcp_rsk(req)->snt_isn = isn;
// 回复 SYN,ACK ，若之前设置了 net.ipv4.tcp_syncookies = 1 则会释放对应的 socket 结构
if (__tcp_v4_send_synack(sk, req, dst) || want_cookie)
goto drop_and_free;
// 启动 SYN,ACK 重传定时器
inet_csk_reqsk_queue_hash_add(sk, req, TCP_TIMEOUT_INIT);
return 0;
drop_and_release:
dst_release(dst);
drop_and_free:
reqsk_free(req);
drop:
return 0;
}
当Accept Queue满了
当接收到一个ACK包但Accept queue满了时：
若设置 tcp_abort_on_overflow = 1 ，则 TCP 协议栈回复 RST 包，并直接从 SYN queue 中删除该连接信息，表示废弃这个握手过程和这个连接；
若设置 tcp_abort_on_overflow = 0 ，则 TCP 协议栈将该连接标记为 acked ，但仍保留在 SYN queue 中，并启动 timer 以便重发 SYN,ACK 包；当 SYN,ACK 的重传次数超过 net.ipv4.tcp_synack_retries 设置的值时，再将该连接从 SYN queue 中删除；
通常把tcp_abort_on_overflow设置为0可以利于应对突发流量，当 TCP 全连接队列满导致服务器丢掉了 ACK，与此同时，客户端的连接状态却是 ESTABLISHED，进程就在建立好的连接上发送请求。只要服务器没有为请求回复 ACK，请求就会被多次重发。如果服务器上的进程只是短暂的繁忙造成 accept 队列满，那么当 TCP 全连接队列有空位时，再次接收到的请求报文由于含有 ACK，仍然会触发服务器端成功建立连接。
tcp_abort_on_overflow 参数位置位于/proc/sys/net/ipv4/tcp_abort_on_overflow
但是，如果Accept queue满时，内核也会对SYN包接收速率强加一个限制：如果太多的SYN包被接受，其中将有一些会被抛弃。
此时，由客户端决定是否重发SYN包。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44/*
*Process an incoming packet for SYN_RECV sockets represented
*as a request_sock.
*/
struct sock *tcp_check_req(struct sock *sk, struct sk_buff *skb,
struct request_sock *req,
struct request_sock **prev)
{
...
/* OK, ACK is valid, create big socket and
* feed this segment to it. It will repeat all
* the tests. THIS SEGMENT MUST MOVE SOCKET TO
* ESTABLISHED STATE. If it will be dropped after
* socket is created, wait for troubles.
*/
// 调用 net/ipv4/tcp_ipv4.c 中的 tcp_v4_syn_recv_sock 函数
// 判定 accept queue 是否已经满，若已满，则返回的 child 为 NULL
child = inet_csk(sk)->icsk_af_ops->syn_recv_sock(sk, skb, req, NULL);
if (child == NULL)
goto listen_overflow;
// 在 accept queue 未满的情况下，将 ESTABLISHED 连接从 SYN queue 搬移到 accept queue 中
inet_csk_reqsk_queue_unlink(sk, req, prev);
inet_csk_reqsk_queue_removed(sk, req);
inet_csk_reqsk_queue_add(sk, req, child);
return child;
listen_overflow:
// 若 accept queue 已满，但设置的是 net.ipv4.tcp_abort_on_overflow = 0
if (!sysctl_tcp_abort_on_overflow) {
inet_rsk(req)->acked = 1; // 则只标记为 acked ，直接返回，相当于忽略当前 ACK
return NULL;
}
embryonic_reset:
// 若 accept queue 已满，但设置的是 net.ipv4.tcp_abort_on_overflow = 1
NET_INC_STATS_BH(sock_net(sk), LINUX_MIB_EMBRYONICRSTS); // 变更统计信息
if (!(flg & TCP_FLAG_RST))
req->rsk_ops->send_reset(sk, skb); // 发送 RST
inet_csk_reqsk_queue_drop(sk, req, prev); // 直接从 SYN queue 中删除该连接信息
return NULL;
}
使用单个Queue的缺点
导致单个queue满的两个主要因素：
应用调用accept()不够快，使得建立ESTABLISHED的connection塞满了queue。
服务端与客户端之间的RTT(round-trip time，往返延时)比较大，处于SYN RECEIVED状态的connection塞满了queue。
而使用了两个queue，则SYN queue可以看出要传输的ACK包，Accept queue可以看出应用需要处理的连接数。
541
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
