网络编程: 服务器百万连接实现

实验内容: 用三个客户端与服务器建立百万连接
服务器代码: Reactor

将实验遇到的问题记录如下

一、TCP连接

一个TCP连接叫做TCP控制块(tcp control block)。区分网络连接的五元组元素有

(源ip, 目的ip, 源端口, 目的端口, 协议)

二、记录服务器连接时间和连接数

添加功能

1. 增加服务器监听端口
   如果服务器只用一个端口，那么至少需要10e6/(2^16-1024) ≈ 16台虚拟机。（能分配的端口范围为 1024 ~ 65,535）

for(int i = 0;i < MAX_PORT; i++){
        int socket_fd = socket(AF_INET, SOCK_STREAM, 0);

        struct sockaddr_in serveraddr;
	    memset(&serveraddr, 0, sizeof(struct sockaddr_in));

	    serveraddr.sin_family = AF_INET;
	    serveraddr.sin_addr.s_addr = htonl(INADDR_ANY);
	    serveraddr.sin_port = htons(START_PORT + i);

        if (-1 == bind(socket_fd, (struct sockaddr*)&serveraddr, sizeof(struct sockaddr))) {
            perror("bind");
            return -1;
        }

        listen(socket_fd, 10);

        connect_list[socket_fd].fd = socket_fd;
        memset(connect_list[socket_fd].rbuffer, 0, BUFFER_SIZE);
        memset(connect_list[socket_fd].wbuffer, 0, BUFFER_SIZE);
        connect_list[socket_fd].recv_t.accept_callback = accept_callback;
        set_event(socket_fd, EPOLLIN, 1);
    }

2. 暴力扩大服务器连接池最大数量

#define CONNECTLIST_SIZE 1024 * 1024

struct connect_item connect_list[CONNECTLIST_SIZE];

3. 记录服务器连接数量和时间

if ((clientfd % 1000) == 999) {
	struct timeval tv_cur;
	gettimeofday(&tv_cur, NULL);
	int time_used = TIME_SUB_MS(tv_cur, zvoice_king);

	memcpy(&zvoice_king, &tv_cur, sizeof(struct timeval));
	
	printf("clientfd : %d, time_used: %d\n", clientfd, time_used);
}

二、问题记录

1. 打开文件数超出系统限制

服务器端显示:

客户端显示:

引起的原因就是当前shell以及该shell启动的进程打开的文件数量超过了系统限制，通过命令ulimit -a可以查看当前系统设置的最大句柄数是多少：

将open files改为1048576（临时修改）

ulimit -n 1048576

2. 文件描述符最大值

客户端报错，显示:

1.修改内核能够分配的tcp连接的页数和tcp读写缓冲区的内存以及系统能够打开的文件数量
进入 /etc/sysctl.conf 文件中添加

net.ipv4.tcp_mem: 内核分配给TCP连接的内存，单位为页

第一个值表示tcp使用少于多少pages时，kernel不对其进行任何的干预
第二个数字表示当tcp使用了超过多少pages时，kernel会进入 “memory pressure” 压力模式
第三个数字表示当tcp使用超过多少pages时，就会报：Out of socket memory

net.ipv4.tcp_rmem，net.ipv4.tcp_wmem: 为每个TCP连接分配的读、写缓冲区内存大小，单位是Byte

数字分别代表 最小值 缺省值 最大值，一般按缺省值分配

fs.file-max: 系统能够打开的最大文件数量，设置太小系统无法正常运行

三、测试结果

最后服务器到84w连接的时候客户端内存不够了
server:

client1:

参考文献：https://www.cnblogs.com/94cool/p/5631905.html