服务端客户端均采用epoll模式，建立3万TCP连接对内存的影响。

最新推荐文章于 2022-10-30 14:55:28 发布
最新推荐文章于 2022-10-30 14:55:28 发布
阅读量365 收藏
点赞数
分类专栏： tcp 文章标签： tcp

0、初始两台虚拟机的初始状态如下：
服务端初始状态内存占用330.8M左右，剩余内存647.1M。

客户端初始状态内存占用350.4M左右，剩余内存627.5M。

服务端：

客户端：

/

1、开始建立TCP连接设定连接数为三万。
建立三万个连接，经过测试确实是吃内存的。

1.1、一万个连接的时候

服务端：

客户端：

10000个连接的时候服务端内存消耗：647.1-576.6=70.5M。

10000个连接的时候客户端内存消耗：627.5-588.6=38.0M。（考虑截图误差人为减了0.9）

1.2三万个连接的时候

服务端：

客户端：

30000个连接的时候服务端消耗了：647.1-433.0=214.1M

30000个连接的时候客户端消耗了：627.5-500.4=127.1M

之后这个数据保持的相当稳定。

2、分析：
0、根据测试结果计算出来的内存占用如下：

服务端：214.1M=219238.4KB；每个连接占用内存=219238.4KB/30000=7.31KB

客户端：127.1M=130150.4KB；每个连接占用内存=130150.4KB/30000=4.34KB

这个数靠谱吗？？验证如下

我们知道一个TCP连接主要内存消耗为文件描述符、读缓冲、写缓冲。

1、服务端、客户端的读写缓冲区大小均如下：

cat /proc/sys/net/ipv4/tcp_rmem  
4096    4096    16777216 #TCP读缓存大小，单位是字节：第一个是最小值4K，第二个是默认值85K，第三个是最大值16M。
cat /proc/sys/net/ipv4/tcp_wmem
4096    4096    16777216 #TCP写缓存大小，单位是字节：第一个是最小值4K，第二个是默认值64K，第三个是最大值16M。

也就是说一个TCP在三次握手建立连接后，最小的内存消耗在8K左右，最大的内存消耗在32M左右。（注：这是错的）

然后问题就来了，为毛客户端我算出来的每个TCP连接只有4.34k，即时是客户端也只有7.31k而已？？？？

1.1难道是建立的TCP连接数不对？验证之

netstat -nat|grep -i "12345"|wc -l %12345为端口号
结果如下是服务端30001个、客户端30000个：

看来连接数不存在问题，确实是3万个TCP连接。

1.2、实在想不到原因了只能怀疑网上说的最低8K了。

果然：目光再次转向了陈硕大神在知乎上的一篇帖子。陈硕大神贴

“8K论”说法错误的原因在于 TCP 连接在建立时并不会真的去分配接收缓冲区和发送缓冲区，此时只有socket文件描述符占用内存，一个socket大约3k。3K具体怎么来的可以参考上面陈硕的那个链接。

对于接收缓冲区和发送缓冲区，如果没有数据，是不占内存的。具体来说，对于接收缓冲区，只有当有数据可读但应用程序尚未读取的时候才占内存（就是 epoll_wait 返回 EPOLL_IN之后，程序调用 read() 之前的那一小段时间）。换句话说，只要服务器总是及时读取数据，接收缓冲区基本不占内存。对于发送缓冲区，只有等待发送的数据和发送之后尚未收到 ACK 的数据才占用内存，在稳态下，发送缓冲区占用的内存等于 BDP。

1.3、至此为什么小于8K的问题解决了。那为什么服务端但TCP连接占用的内存比客户端多很多呢？？？？

说到这儿就要结合上一段话和之前的 CPU占用率和Load Average区别的文章   。

我们知道在我们之前的压力测试中性能瓶颈来源于服务端的CPU，具体来说是CPU的Load Average大于1，导致的较多待处理task排队。在结合上一段陈硕的话“对于接收缓冲区，只有当有数据可读但应用程序尚未读取的时候才占内存（就是 epoll_wait 返回 EPOLL_IN之后，程序调用 read() 之前的那一小段时间）”。所以接受端平均内存占用达到7.31K的原因应该就是因为应用程序并没有每次都立刻读取缓冲区中的数据。从而导致缓冲区确实占用了部分内存得到情况。

1.4.注册一个epoll事件会占用内存空间吗？

按照epoll的实现机制事件是注册到内核事件表的，这个表应该是由红黑树实现的。按照《Linux高性能服务器编程》的说法一个事件会消耗160字节的内核空间。也就是说这个事件对象的本身占用的应该不是内存空间，当然epoll_wait的调用和返回可能会占用一些内存空间。

 

在说一遍：读缓存是一个动态变化的、实际用到多少才分配多少的缓冲内存，当这个连接非常空闲时，且用户进程已经把连接上接收到的数据都消费了，那么读缓存使用内存就是0。写缓存也是同样道理。... 因此，写缓存也是动态变化的，空闲的正常连接上，写缓存所用内存通常也为0。”
--------------------- 
作者：mijichui2153 
来源：CSDN 
原文：https://blog.csdn.net/mijichui2153/article/details/81331345 
版权声明：本文为博主原创文章，转载请附上博文链接！

LzwGlory
关注
专栏目录
python用epoll方式实现客户端对服务端发起大量连接（短连接）
会飞的蚂蚁_的专栏
09-12 1306
我们知道的大多数io复用方式都是在服务端接受连接的时候进行， 但如果要进行压测，则需要客户端发起连接的时候用，那么要怎么用呢，看下文 短连接情况下 def epoll_run(self): used = 0 trans_dict = {} start_time_dict = {} num_of_socket = 0 epoll = sele
网络编程- 客户端（select） 服务端 epoll
FengTwoYear的博客
10-24 366
服务端，收到客户端的消息转给另一个线程进行转发 #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include using namespace std; #define BUFFER_SIZE
简单的客户端服务器以及poll epoll的使用
yan17iiiiii的博客
07-19 209
一、简单的客户端 #include <unistd.h> #include <sys/socket.h> #include <netinet/in.h> #include <arpa/inet.h> #include <signal.h> #include <sys/wait.h> #include <poll.h> #include <stdlib.h> #include <stdio.h> #i
UNIX TCP回射服务器/客户端之使用epoll模型的服务器
一缕阳光的博客
05-23 480
程序简介：这是一个运用epoll系列函数进行IO复用的服务器模型。它是目前UNIX与LINUX平台上效率最高，最受欢迎的IO复用传输模型。 其他的不说了，直接粘贴代码吧！ 服务器端： #include "my_unp.h" int main(void) { int listenfd, connfd, sockfd, epfd; int i, ma
epoll实现tcp百万级高并发测试
u014220105的博客
12-06 3941
**epoll实现高并发测试** 1,准备环境 Server 端： 系统端口限制 默认查看：cat /proc/sys/net/ipv4/ip_local_port_range 32768 60999（在/etc/sysctl.conf修改） 最大文件句柄限制：查看：cat /proc/sys/fs/file-nr 297440 0 297373（最大值系统计算） 备注：这里最大...
一文掌握tcp服务器epoll的多种实现
Linuxhus的博客
04-01 399
tcp服务器epoll的多种实现 总结 我们在读写文件的时候，这是一款服务器，CS，这是一个服务器，这个客户端去连接服务器的时候，中间大家知道从连接的这个过程中间产生通过三次握手连接，服务器先进行监听一个端口，监听的时候是用调用listen进行监听， TCP网络编程模型就好比这样一个模型，大家去酒店吃饭，走到那个饭店的门口门口有一个迎宾的人，有迎宾的小姐姐，然后你跟她说吃饭，她把你带进餐馆里面，然后给你介绍一个真正的服务员，后面你点菜买单，然后包括像夹菜点酒都是由这个服务员为你去服务。 这里面这个
Python 实现TCP长连接、通信epoll、select模式
weixin_39616762的博客
02-12 5704
epoll 是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。epoll的优点：1.支持一个进程打开大数目的socket描述符(FD)    select 最不能忍受的是一个进程所打开的FD是有一定限制的，由FD...
入坑fstack（二）：fstack性能测试（4）：如何测试tcp连接数量？
kangkangsimida的博客
12-07 2234
一、前言 1.回顾 上回说到我们在一个机器上用linux协议的client和fstack协议栈的server通信成功了，于是想到在两台设备上分别运行client和server，就可以完成两个fstack协议栈进程之间的通信了。 在此之前我们还有一项工作没有做，为了测试fstack进程的性能，我们还得需要linux协议栈的协助，毕竟这是我们熟悉的内容，想怎么操作都可以。 2.测试环境 先说下调试环境。 linux主机1：网卡1张（ip...
socket怎么同时监听两个端口_Socket和TCP连接过程解析
weixin_39773817的博客
11-30 2291
一. 背景1.完整的套接字格式{protocol,src_addr,src_port,dest_addr,dest_port}。这常被称为套接字的五元组。其中protocol指定了是TCP还是UDP连接，其余的分别指定了源地址、源端口、目标地址、目标端口。但是这些内容是怎么来的呢?2.TCP协议栈维护着两个socket缓冲区：send buffer和recv buffer。要通过TCP连接发送出去...
java 链接占用太多_Java程序链接数过多导致java.net.SocketException: No buffer space available问题...
weixin_39932692的博客
02-27 643
发布时间：Aug 29, 2020更新时间：Aug 29, 2020总字数：482阅读时间：1m作者： 谢先斌Java程序链接数过多导致java.net.SocketException: No buffer space available问题问题跑java的程序，报错如下：java.net.SocketException: No buffer space available (maximum co...
epoll哪些触发模式_网络编程：epoll
weixin_39653078的博客
11-30 295
前言前面讲了IO多路复用的API，select和poll的缺点是性能不够，客户端连接越多性能下降越明显，epoll的出现解决了这个问题，引用The Linux Programming Interface的一个统计对比如下：fd数量 poll CPU时间(秒) select CPU时间(秒) epoll CPU时间(秒) -----------------------------...
一条TCP连接时占用内存空间多少?
06-21 3951
目录一、内存分配关系1.1物理内存分配关系1.2TCP申请对象之间关系二、实测内存开销2.1客户端内核参数调整2.2服务端内核参数调整三、服务端开销计算3.1 slab内存在连接前后输出以及计算3.2 TCP对象占用内存3.3 TCP对象内存开销总结四、参数设置4.1 linux打开文件限制配置4.2 TCP内存设置4.3 查看连接状态4.4 其他 计算网络连接所占用的内存，需要知道申请哪些内存，以及一条TCP连接需要占用多少内存空间。sock_inode_cache、tcp_sock、den
高性能网络编程(一)：单台服务器并发TCP连接数到底可以有多少
热门推荐
u013954399的专栏
01-17 1万+
前言 曾几何时我们还在寻求网络编程中C10K问题（有关C10K问题请见文章《The C10K problem（英文在线阅读、英文PDF版下载、中文译文）》）的解决方案，但是现在从硬件和操作系统支持来看单台服务器支持上万并发连接已经没有多少挑战性了。 我们先假设单台服务器最多只能支持万级并发连接，其实对绝大多数应用来说已经远远足够了，但是对于一些拥有很大用户基数的互联网公司，往往面临的并
你的linux，socket epoll连接数最大达到过多少
wangcg123的专栏
02-08 1万+
在去年的2个面试中被问及用过epoll吗？ 这个肯定没啥说的，不说多精通，但也是熟练； 但又被问 你实现过的最大并发连接数是多少？   --  这个。。 还真没概念，产品和项目里也没很大的并发连接要求，所以，不知道 郁闷，那就自己排解一下！开干。。。 把自己的epoll例子代码找出来，稍微调整一下，编译，开始： ./server 12345 和 ./client ，才连接了1018
Nginx学习2
ren762201592的专栏
07-16 108
Nginx的特点： 1.高并发：默认情况下可达到1000的并发量 2.低消耗：10000个非活跃链接，Nginx中仅消耗2.5M的内存 3.热部署：平滑重启，Nginx可以提供7*24小时 不间断服务 4.高可用：Nginx中有一个主进程，多个worker进程 5.高扩展：C语言扩展模块，与LUA脚本扩展模块 http://openresty.org/cn/ ...
epoll使用实例：TCP服务端处理多个客户端请求
码农爱学习的博客
10-30 1679
上篇文章，介绍了Unix域的socket通信，并通过实例测试了TCP和UDP两种传输方式。本篇，在上篇例程的基础上，来学习epoll的多路复用功能，通过给服务端增加epoll监听功能，实现对多个客户端的数据进行接收。
java 服务器连接数_TCP服务器和客户端最大连接数
weixin_31814585的博客
02-16 2257
只要资源 (内存硬盘cpu)足够，理论上可以接收无限个链接。所谓65535的限制，是针对客户端的，客户机每链接一个服务，就必须开一个tcp端口与之对应。这样，链接到65535个服务后，本地端口就被占满。服务端口仅仅使用一个。一个tcp链接，是四个元素决定的，server IP：port+client IP：port。对于服务器，每一个tcp连接都要占一个文件描述符，一旦这个文件描述符使用完了，就会...
TCP端口状态说明ESTABLISHED、TIME_WAIT
zhengshibo56的专栏
12-03 563
声明，本文转自https://www.cnblogs.com/qianzf/p/7064827.html，若有侵权，请联系本人删除，WX：zhengshibo66 TCP端口状态说明ESTABLISHED、TIME_WAIT TCP状态转移要点 TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不 会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源
C语言 epoll 客户端和服务端
最新发布
06-03
下面是使用 C 语言实现 epoll 的客户端和服务端代码示例。 服务端代码： ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <sys/socket.h> #include <arpa/inet.h> #include <netinet/in.h> #include <sys/epoll.h> #define MAX_EVENTS 10 #define BUF_SIZE 256 int main(int argc, char* argv[]) { int port = atoi(argv[1]); // 获取端口号 int server_fd = socket(AF_INET, SOCK_STREAM, 0); if (server_fd < 0) { perror("socket() failed"); exit(EXIT_FAILURE); } struct sockaddr_in server_addr; memset(&server_addr, 0, sizeof(server_addr)); server_addr.sin_family = AF_INET; server_addr.sin_addr.s_addr = INADDR_ANY; server_addr.sin_port = htons(port); if (bind(server_fd, (struct sockaddr*)&server_addr, sizeof(server_addr)) < 0) { perror("bind() failed"); exit(EXIT_FAILURE); } if (listen(server_fd, 10) < 0) { perror("listen() failed"); exit(EXIT_FAILURE); } printf("Listening on port %d...\n", port); int epoll_fd = epoll_create1(0); if (epoll_fd < 0) { perror("epoll_create1() failed"); exit(EXIT_FAILURE); } struct epoll_event event, events[MAX_EVENTS]; event.data.fd = server_fd; event.events = EPOLLIN; if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, server_fd, &event) < 0) { perror("epoll_ctl() failed"); exit(EXIT_FAILURE); } char buf[BUF_SIZE]; while (1) { int ready = epoll_wait(epoll_fd, events, MAX_EVENTS, -1); if (ready < 0) { perror("epoll_wait() failed"); exit(EXIT_FAILURE); } for (int i = 0; i < ready; i++) { if (events[i].data.fd == server_fd) { struct sockaddr_in client_addr; socklen_t client_len = sizeof(client_addr); int client_fd = accept(server_fd, (struct sockaddr*)&client_addr, &client_len); if (client_fd < 0) { perror("accept() failed"); exit(EXIT_FAILURE); } printf("Client connected: %s:%d\n", inet_ntoa(client_addr.sin_addr), ntohs(client_addr.sin_port)); event.data.fd = client_fd; event.events = EPOLLIN; if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, client_fd, &event) < 0) { perror("epoll_ctl() failed"); exit(EXIT_FAILURE); } } else { int client_fd = events[i].data.fd; ssize_t count = recv(client_fd, buf, sizeof(buf), 0); if (count < 0) { perror("recv() failed"); exit(EXIT_FAILURE); } else if (count == 0) { printf("Client disconnected\n"); close(client_fd); } else { printf("Received %ld bytes from client: %.*s\n", count, (int)count, buf); send(client_fd, buf, count, 0); } } } } close(server_fd); return 0; } ``` 客户端代码： ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <sys/socket.h> #include <arpa/inet.h> #include <netinet/in.h> #include <sys/epoll.h> #define MAX_EVENTS 10 #define BUF_SIZE 256 int main(int argc, char* argv[]) { const char* server_ip = argv[1]; int port = atoi(argv[2]); int client_fd = socket(AF_INET, SOCK_STREAM, 0); if (client_fd < 0) { perror("socket() failed"); exit(EXIT_FAILURE); } struct sockaddr_in server_addr; memset(&server_addr, 0, sizeof(server_addr)); server_addr.sin_family = AF_INET; server_addr.sin_addr.s_addr = inet_addr(server_ip); server_addr.sin_port = htons(port); if (connect(client_fd, (struct sockaddr*)&server_addr, sizeof(server_addr)) < 0) { perror("connect() failed"); exit(EXIT_FAILURE); } printf("Connected to server: %s:%d\n", server_ip, port); int epoll_fd = epoll_create1(0); if (epoll_fd < 0) { perror("epoll_create1() failed"); exit(EXIT_FAILURE); } struct epoll_event event, events[MAX_EVENTS]; event.data.fd = client_fd; event.events = EPOLLIN; if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, client_fd, &event) < 0) { perror("epoll_ctl() failed"); exit(EXIT_FAILURE); } char buf[BUF_SIZE]; while (1) { int ready = epoll_wait(epoll_fd, events, MAX_EVENTS, -1); if (ready < 0) { perror("epoll_wait() failed"); exit(EXIT_FAILURE); } for (int i = 0; i < ready; i++) { if (events[i].data.fd == client_fd) { ssize_t count = recv(client_fd, buf, sizeof(buf), 0); if (count < 0) { perror("recv() failed"); exit(EXIT_FAILURE); } else if (count == 0) { printf("Server disconnected\n"); close(client_fd); } else { printf("Received %ld bytes from server: %.*s\n", count, (int)count, buf); } } else { fgets(buf, sizeof(buf), stdin); ssize_t count = send(client_fd, buf, strlen(buf), 0); if (count < 0) { perror("send() failed"); exit(EXIT_FAILURE); } } } } close(client_fd); return 0; } ``` 在这个示例中，我们使用了 epoll 来实现并发处理多个客户端的连接。服务器会等待客户端连接，一旦有客户端连接，就将其加入 epoll 等待队列中。同时，客户端也会连接服务器，并将其套接字加入 epoll 等待队列中。当客户端或服务器有消息到来时，都会触发 epoll_wait() 函数。然后，我们可以使用 recv() 和 send() 函数来接收和发送消息。 请注意，这只是一个示例代码，可能还需要进行更多的错误处理和安全检查。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值