一个问题引发的Linux端口选择算法思考

问题是这样的：在并发并不高的反向代理环境下，用户连接出现失败。因为服务器主动关闭上游连接，并处于TIMEWAIT状态，代理在新建上游连接时，复用了服务器上处于TIMEWAIT状态的五元组源端口。虽然代理上游客户端没有bind操作，但为什么代理上刚被释放的端口这么快又被复用了，查代码，原因是系统使用的某应用层协议栈在不bind端口情况下，采用random随机去选择端口，那么即使可用端口很多，仍存在刚被释放的端口在短时间被复用的可能。

应用层不进行端口选择的情况下，传输层如何进行端口选择？看一下Linux的实现，应用层不绑定端口，分为bind时端口选择为0，或不进行bind操作直接connect两种情况。

bind端口零情况

   int inet_csk_get_port(struct sock *sk, unsigned short snum)
    {
    	......
    	/* snum为0表示bind时未指定端口*/
    	if (!snum) {
    		int remaining, rover, low, high;
    
    again:
    		/* 获取net.ipv4.ip_local_port_range设置的端口范围*/
    		inet_get_local_port_range(&low, &high);
    		/* 获取可用端口个数*/
    		remaining = (high - low) + 1;
    		/* 端口号:在可用端口最小值基础上加随机偏移*/
    		smallest_rover = rover = net_random() % remaining + low;
    		/* 被引用次数最少的端口号被引用次数*/
    		smallest_size = -1;
    		do {
    			/* 根据net.ipv4.ip_local_reserved_ports排除保留端口*/
    			if (inet_is_reserved_local_port(rover))
    				goto next_nolock;
    			/* 获取该端口的bind hash节点头*/
    			head = &hashinfo->bhash[inet_bhashfn(net, rover,
    					hashinfo->bhash_size)];
    			spin_lock(&head->lock);
    			/* 遍历该端口的bind hash链*/
    			inet_bind_bucket_for_each(tb, &head->chain)
    				/* 如果在同一个网络空间该端口已被使用，
    				     需要判断端口是否可重用*/
    				if (net_eq(ib_net(tb), net) && tb->port == rover) {
    					/* sk_reuse和sk_reusepot分别由SO_REUSEADDR和SO_REUSEPORT确定。可重用条件为:
    					     1. 该bind bucket节点使能fastreuse(由该节点首个sk的sk_reuse确定)，同时sk
    					     使能sk_reuse，同时sk状态不为TCP_LISTEN;
    					     2. 该bind bucket节点使能fastreuseport，同时sk使能sk_reuseport，同时两连接同
    					     用户; */
    					if (((tb->fastreuse > 0 &&
    					      sk->sk_reuse &&
    					      sk->sk_state != TCP_LISTEN) ||
    					     (tb->fastreuseport > 0 &&
    					      sk->sk_reuseport &&
    					      uid_eq(tb->fastuid, uid))) &&
    					     /* 并且该端口使用次数为目前最小，那么保存该端口。*/
    					    (tb->num_owners < smallest_size || smallest_size == -1)) {
    						smallest_size = tb->num_owners;
    						smallest_rover = rover;
    						/* 系统端口使用个数大于端口范围，必然存在复用，那么只要
    						目前选择的端口被inet_csk_bind_conflict判定为不冲突则可以使用。*/
    						if (atomic_read(&hashinfo->bsockets) > (high - low) + 1 &&
    						    !inet_csk(sk)->icsk_af_ops->bind_conflict(sk, tb, false)) {
    							snum = smallest_rover;
    							goto tb_found;
    						}
    					}
    					/* 无论是否配置SO_REUSEADDR或SO_REUSEPORT，但只要inet_csk_bind_conflict判定为
    					不冲突则该端口可复用*/
    					if (!inet_csk(sk)->icsk_af_ops->bind_conflict(sk, tb, false)) {
    						snum = rover;
    						goto tb_found;
    					}
    					goto next;
    				}
    			/* 如果选取的端口未被使用，则直接跳出端口选择阶段。*/
    			break;
    		next:
    			spin_unlock(&head->lock);
    		next_nolock:
    			/* 当前端口不可用，尝试下一端口*/
    			if (++rover > high)
    				rover = low;
    		} while (--remaining > 0);
    
    		/* Exhausted local port range during search?  It is not
    		 * possible for us to be holding one of the bind hash
    		 * locks if this test triggers, because if 'remaining'
    		 * drops to zero, we broke out of the do/while loop at
    		 * the top level, not from the 'break;' statement.
    		 */
    		ret = 1;
    		/* 如果遍历完所有端口，都没有找到未被占用的端口，则选取
    		     被使用次数最少的端口*/
    		if (remaining <= 0) {
    			if (smallest_size != -1) {
    				snum = smallest_rover;
    				goto have_snum;
    			}
    			goto fail;
    		}
    		/* OK, here is the one we will use.  HEAD is
    		 * non-NULL and we hold it's mutex.
    		 */
    		/* 该端口未被使用，选取。*/
    		snum = rover;
    	}
    	......
    }

概括一下，在端口不复用情况下，端口随机选择；端口复用情况下，尽量选择使用量较少的端口。

不bind情况

int __inet_hash_connect(struct inet_timewait_death_row *death_row,
		struct sock *sk, u32 port_offset,
		int (*check_established)(struct inet_timewait_death_row *,
			struct sock *, __u16, struct inet_timewait_sock **),
		int (*hash)(struct sock *sk, struct inet_timewait_sock *twp))
{
	......
	if (!snum) {
		int i, remaining, low, high, port;
		/* 一个静态变量作为偏移因子*/
		static u32 hint;
		/* port_offset为根据源地址、目的地址和端口算出的偏移量。*/
		u32 offset = hint + port_offset;
		struct inet_timewait_sock *tw = NULL;

		/* 获取net.ipv4.ip_local_port_range设置的端口范围*/
		inet_get_local_port_range(&low, &high);
		remaining = (high - low) + 1;

		local_bh_disable();
		for (i = 1; i <= remaining; i++) {
			/* 已最小端口为基础，加计算偏移量作为选择的端口*/
			port = low + (i + offset) % remaining;
			/* 根据net.ipv4.ip_local_reserved_ports排除保留端口*/
			if (inet_is_reserved_local_port(port))
				continue;
			/* 获取该端口的bind hash节点头*/
			head = &hinfo->bhash[inet_bhashfn(net, port,
					hinfo->bhash_size)];
			spin_lock(&head->lock);

			/* Does not bother with rcv_saddr checks,
			 * because the established check is already
			 * unique enough.
			 */
			inet_bind_bucket_for_each(tb, &head->chain) {
				/* 端口已被使用*/
				if (net_eq(ib_net(tb), net) &&
				    tb->port == port) {
					if (tb->fastreuse >= 0 ||
					    tb->fastreuseport >= 0)
						goto next_port;
					WARN_ON(hlist_empty(&tb->owners));
					/* 判断是否存在五元组冲突或TW连接可重用*/
					if (!check_established(death_row, sk,
								port, &tw))
						goto ok;
					goto next_port;
				}
			}
			/* 端口未被使用，选取并创建新的bind bucket节点*/
			tb = inet_bind_bucket_create(hinfo->bind_bucket_cachep,
					net, head, port);
			if (!tb) {
				spin_unlock(&head->lock);
				break;
			}
			tb->fastreuse = -1;
			tb->fastreuseport = -1;
			goto ok;

		next_port:
			spin_unlock(&head->lock);
		}
		local_bh_enable();

		return -EADDRNOTAVAIL;

ok:
		/* 根据本次选择的端口偏移，增加静态因子hint，期待后续端口
		     选择递增*/
		hint += i;
	}
	......
}

概括一下，对于相同的五元组连接，总是在上一次端口选择基础上递增选取端口值。

总结一下

Linux为什么同时存在随机和线性递增两种端口选择方式不太明确，但在随机选取端口的情况下，开头所说的客户端端口被短时间复用的情况理论上仍存在，而且随着并发的上升，即使在线性递增选择端口情况下，也会存在同样的问题。

分析一下问题的解决思路，在HTTP反代环境下，可以考虑通过使能代理服务器HTTP长连接提高上游连接利用率，并且客户端主动关闭连接减少服务端TW连接数量；或使能时间戳同时服务器配合使能连接回收，让服务器TW状态连接快速回收；或代理服务器使能IP_TRANSPARENT套接字并绑定虚地址，尽量减少相同五元组信息的重复使用频率。