LINUX 入门 9

LINUX 入门 9

day11 20240507 耗时：120min

课程链接地址

第9章 百万并发的服务器

1 百万并发项目介绍与并发概念讲解

书接上回，把server做成并发量百万级的服务量

装4台虚拟机 vmware右下角可以设置虚拟机内存 内核

没敲，就看了一下，我的天，老师也没让敲multi_port.c的代码，直接用

gcc -o tcp_server tcp_server.c
./tcp_server 8888 开起来server

gcc -o multi mult.c
 ./multi 192.168.243.128 8888

2 connection refused问题解决

服务器爆了

fd file descriptor 文件描述符 文件系统默认每个进程的fd只有1024

1. 彻底修改

sudo vim /etc/security/limits.conf
最后加
*	hard	nofile 1048576
*	soft	nofile 1048576 是2^20次

改完以后sudo reboot重启

2. 用命令临时修改， 系统重启以后没了

uilmit -a 所有-a 可以看到openfiles -n (1024)
sudo ulimit -n 1048576 改大

3 request address问题分析与解决

connect: cannot assign requested address

是client还是server 的address用不了

**问题：**socketfd（文件描述符fd） 与网络地址ip什么关系

换言之

1. send怎么从sockfd里发到buffer到对端

   sockfd–>可以找到五元组（远程ip， 远程port，本机ip， 本机port， proto协议）

2. recv怎么从buffer取到cliendfd里

   正好反，从五元组反过来读出socketfd

答 是五元组被用完了

server：192.168.243.128：8888

client：对于client来说，五元组：远程ip， 远程port，本机ip， proto协议是tcp都确定，但是本机port被耗尽了

解法

1. 把client的远程port多开几个，现在只开了8888

4 request address解决方案的实现

端口只有65535个， 为什么socketfd可以到百万

希望可以多个端口 远程port

改tcp_server.c里开8888 -8987 100个

int islistenfd(int fd, int *fds) {

	int i = 0;
	for (i = 0;i < MAX_PORT;i ++) {
		if (fd == *(fds+i)) return fd;
	}

	return 0;
}


main里
	
	int port = atoi(argv[1]); // start 
	int sockfds[MAX_PORT] = {0}; // listen fd
	int epfd = epoll_create(1);  

	int i = 0;
	for (i = 0;i < MAX_PORT;i ++) {

		int sockfd = socket(AF_INET, SOCK_STREAM, 0);

		struct sockaddr_in addr;
		memset(&addr, 0, sizeof(struct sockaddr_in));
		addr.sin_family = AF_INET;
		addr.sin_port = htons(port+i); // 8888 8889 8890 8891 .... 8987
		addr.sin_addr.s_addr = INADDR_ANY; 

		if (bind(sockfd, (struct sockaddr*)&addr, sizeof(struct sockaddr_in)) < 0) {
			perror("bind");
			return 2;
		}

		if (listen(sockfd, 5) < 0) {
			perror("listen");
			return 3;
		}
		printf("tcp server listen on port : %d\n", port + i);

		struct epoll_event ev;
		ev.events = EPOLLIN; 
		ev.data.fd = sockfd;
		epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev);

		sockfds[i] = sockfd;
	}
	// 

先listen监听100个port，然后放到epoll里管理所有IO

client和server都编译后
server端
./tcp_server 8888 速度变快了

client端
 ./multi 192.168.243.128 8888

htop可以看内存和cpu使用 装一下

5 nf_conntrack_max的分析

client 64999 server 65535

文件描述符fd个数与最大个数fs.file_max = 1048576是两个

1. 文件系统没问题，防火墙 nf(net filler) 的问题？？

nf_conntrack_max

cat /proc/sys/net/netfiller/nf_conntrack_max
是655536

vim /etc/sysctl.conf
fs.-max =1048576
net.nf_conntrack_max= 1048576

设置以后生效 看数能到65536吗
sudo sysctl -p

可能一个下午 问题等待时间长

并发连接没那么难，

2. server报错： too many open files in system

   filemax不够大

   sudo syctl -p
   
   cat /pro/sys/fs/file-max
   
   vim /etc/sysctl.conf
   fs.-max =1048576
   net.nf_conntrack_max= 1048576
   

3. 报错：sysctl:cnannot stat /pro/sys/net/nf_conntrack_max：no such file or directory

   sudo modprobe ip_conntrack
   

   sudo sysctl -p是一个Linux命令，用于加载并应用sysctl.conf文件中的内核参数配置。当修改了sysctl.conf文件后，需要使用该命令来使更改生效。

6 tcp wmem与rmem的调参与实现

clientfd可以到80万左右，4G内存跑满

问题：内存回收

断开时2核CPU瞬间全红，大量client瞬间down了，尽量避免，难以存client的状态

引入tcp协议栈

sudo vim /etc/sysctl.conf

net.ipv4.tcmp_mem = 252144 524288 786432  单位是page, 一页是4k 对应1G2G3G
net.ipv4.tcmp_wmem = 1024 1024 2048  发送socket的send buffer 最小1k，中间默认1k 最大2k
net.ipv4.tcmp_rmem = 1024 1024 2048  接受buffer

生效
sudo vim /etc/sysctl.conf

就能做到100万

用xshell

问题：为什么是100万，不是10万

因为企业里就是这个级别，单台千万级技术不同！！！

完结撒花 🌸, 两周左右扫一遍