TCP rwnd自适应

紧接着前面的继续说。

填满TCP长肥管道
socket与Linux TCP
TCP rwnd算法挖坟

找到了RFC675这个宝贝，值得一读再读。本文对rwnd的计算做个简单侵入hook，并且做个模拟。

将rwnd替换成自己计算出来的值，需要修改 __tcp_select_window 的返回值，而它的计算过程可以在 __tcp_select_window 之前进行：

下面是代码：

#!/usr/local/bin/stap -g

%{
#include <net/tcp.h>
%}

function get_rwnd(skk:long)
%{
	struct sock *sk = (struct sock *)STAP_ARG_skk;

	if (inet_sk(sk)->inet_num == 5001) {
                // loss_buff统计比较麻烦，用计数器比较好，干脆全部只统计包量，不统计包长。
		unsigned long ret = sk->sk_rcvbuf /*+ loss_buff*/; 
		ret *= ret;
		do_div(ret, sock_net(sk)->ipv4.sysctl_tcp_rmem[2]);
		ret *= 315724928;
		do_div(ret, sock_net(sk)->ipv4.sysctl_tcp_rmem[2]);
		STAP_RETVALUE = ret;
	} else {
		STAP_RETVALUE = 0;
	}
%}

global win = 0

probe kernel.function("__tcp_select_window")
{
	win = get_rwnd($sk);
}

probe kernel.function("__tcp_select_window").return
{
	if (win != 0) {
		$return = win;
	}
}

这段逻辑事实上应该替换 __tcp_select_window 逻辑的，并且free space应该减去由于应用读取不畅造成的丢包总量。大致是个意思。
下面是一个模拟程序：

#define _GNU_SOURCE

#include<stdio.h>
#include<string.h>
#include<pthread.h>
#include<stdlib.h>
#include<unistd.h>
#include <math.h>
#include <sched.h>

pthread_t tid_sender, tid_receiver, tid_reader, tid_log;

unsigned long seq_front = 0, seq_end = 0;
unsigned int rwnd = 10, logwnd = 0;
unsigned int rate;

void* logger(void *arg)
{
	cpu_set_t set;
	CPU_ZERO(&set);
	CPU_SET(4, &set);
	while(1) {
		printf ("front:%d  end:%d  rwnd:%d rate:%d\n", seq_front, seq_end, logwnd, rate);
	}
}

void* sender(void *arg)
{
	unsigned long tmp;
	unsigned int wnd;
	cpu_set_t set;

	CPU_ZERO(&set);
	CPU_SET(5, &set);
	while(1) {
		wnd = __sync_fetch_and_or(&rwnd, 0);
		if (wnd == 0)
			continue;
		__sync_fetch_and_and(&rwnd, 0);
		logwnd = wnd;
		while (wnd) {
			__sync_fetch_and_add(&seq_front, 1);
			wnd --;
			usleep(10000);
		}
	}
}
void* receiver(void *arg)
{
	unsigned long tmp_front, tmp_end, i, newwnd;
	unsigned int wnd;

	cpu_set_t set;
	CPU_ZERO(&set);
	CPU_SET(6, &set);

	wnd = rwnd;
	while (1) {
		while (wnd) {
			tmp_front = __sync_fetch_and_sub(&seq_front, 0);
			if (tmp_front == 0) {
				continue;
			}
			__sync_fetch_and_sub(&seq_front, 1);
			tmp_end = __sync_fetch_and_add(&seq_end, 1);
			wnd --;
		}
		newwnd = 1000*pow(1 - ((double)tmp_end)/((double)0xfffff), 3.5);
		wnd = __sync_or_and_fetch(&rwnd, newwnd);
	}
}
void* reader(void *arg)
{
	unsigned long tmp;
	cpu_set_t set;
	CPU_ZERO(&set);
	CPU_SET(7, &set);
	while (1) {
		tmp = __sync_fetch_and_sub(&seq_end, 0);
		if (tmp == 0)
			continue;
		__sync_fetch_and_sub(&seq_end, 1);
		usleep(rate);
	}
}

int main(int argc, char **argv)
{
	rate = 10000;
	pthread_create(&tid_sender, NULL, &sender, NULL);
	pthread_create(&tid_receiver, NULL, &receiver, NULL);
	pthread_create(&tid_reader, NULL, &reader, NULL);
	pthread_create(&tid_log, NULL, &logger, NULL);

	while (getchar() != 'e') {
		scanf("%d", &rate);
	}
}

看懂这个代码，如有bug修复它，运行这个程序，输入微调reader速度，就可以观察到自适应的过程了。

买小龙虾前，把昨晚的代码写了一下，运行一下还是有趣的。但还是要喷Linux。Linux内核里不好做分数乘除这种浮点运算是很多TCP优化落不了地的根源！u64都装不住一个分数三次方，不得不写一个大数运算函数，为了折腾一个1000000量级这么小的数的屡次平方和除法，竟然要搞“大数”，真tmd讽刺！垃圾linus，sb。搞不懂Linux内核如今还不支持浮点数的根本原因，当然，你要是解释它为什么不支持，总有1000个原因，反正Linux什么都是对的，宗教般的正确。

浙江温州皮鞋湿，下雨进水不会胖。