十、粘包（一）网络缓冲区

无休止符

已于 2022-03-09 22:36:29 修改

阅读量1k

点赞数 1

分类专栏： C++百万并发网络通信引擎架构文章标签： c++ 服务器后端 tcp/ip 架构

于 2022-01-23 17:28:09 首次发布

本文链接：https://blog.csdn.net/qq23001186/article/details/122541630

版权

C++百万并发网络通信引擎架构专栏收录该内容

21 篇文章 19 订阅

订阅专栏

.

前言
一、内网不间断测试
二、外网不间断测试
- 1、消息长度Login=68，LoginResult=8
- 2、消息长度Login=68，LoginResult=1032
三、网络缓冲区的概念
四、程序异常结论
- 1、问题原因分析
- 2、解决方案
五、扩大接收缓冲区
六、粘包问题引出
七、完整源码

前言

之前我们在server和client发送的数据包都比较小
- 例如Login消息长度=68，LoginResult消息长度=8
接下来我们来测试消息长度比较大的时候，网络消息收发的情况

一、内网不间断测试

1、消息长度Login=68，LoginResult=8

server和client的select都修改成非阻塞
- timeval t = { 0,0 };
- int ret = select(maxSock + 1, &fdRead, &fdWrite, &fdExp, &t);

a）server.cpp

    EasyTcpServer server1;
    server1.InitSocket();
    server1.Bind(nullptr, 4567);
    server1.Listen(5);
    while (server1.isRun())
    {
        server1.OnRun();
    }

b）client.cpp

	EasyTcpClient client;
	client.Connect("127.0.0.1", 4567);
	//启动UI线程
	std::thread t1(cmdThread, &client);
	t1.detach();
	Login login;
	strcpy(login.userName, "zjp");
	strcpy(login.PassWord, "mima");
	while (client.isRun())
	{
		client.OnRun();
		client.SendData(&login);
		//printf("空闲时间处理其它业务..\n");
		//Sleep(1000);
	}

c）测试结论

数据收发正常，收发消息的数据长度都正确

2、消息长度LoginResult增加`char data[1024];`

server和client的timeval t = { 0,0 };

a）LoginResult增加`char data[1024];`

struct LoginResult : public DataHeader
{
	LoginResult()
	{
		dataLength = sizeof(LoginResult);
		cmd = CMD_LOGIN_RESULT;
		result = 0;
	}
	int result;
	char data[1024];
};

b）测试结论

这时候发现server和client都无法继续收发消息了

二、外网不间断测试

将server发布到外网的阿里云服务器测试，client的ip地址自行修改i

1、消息长度Login=68，LoginResult=8

在消息比较小的时候，外网还是正常的
但是如果随着时间的加长，或者多开一个client，仍然会出现无法继续的情况

2、消息长度Login=68，LoginResult=1032

才发送不到30条消息就无法继续了

三、网络缓冲区的概念

在这里插入图片描述

在不同的操作系统中，系统为网络程序设置了数据的接收缓冲区和发送缓冲区，用来存储接收的网络数据/发送的网络数据
server与client的通信流程
- 发送端将发送的数据先发送到发送缓冲区中
- 之后数据通过网络传输层传输到接收端的接收缓冲区中
- 最后接收端从接收缓冲区中接收数据
注意事项：
- 这个缓冲区是由操作系统底层的网络通信栈所决定的，程序一般不能更改，但是可以通过一些方法（套接字选项、设置配置文件等）来更改
- 不同操作系统间的缓冲区大小可能都不相同

四、程序异常结论

1、问题原因分析

在交互少量数据（8kb）时：
- 内网测试：交互少量的数据，发送端的发送速率虽然过快，但是数据量比较少，发送端的发送缓冲区和接收端的接受缓冲区都足够用，数据没有发生溢出的情况，因此程序运行都正确
- 外网测试：因为在外网测试，可能由于网络的原因，发送端的发送速率过快，但是接收端的接受速率慢于发送端的发送速率，导致发送端的发送缓冲区和接收端的接收缓冲区溢出，程序无法正确执行，因此发生错误
在交互大量数据（1032kb）：
- 内网测试：交互大量数据，原理与上面的外网测试一样，发送端的发送缓冲区和接收端的接收缓冲区溢出，程序无法正确执行，因此发生错误
- 外网测试：同上，发送端的发送缓冲区和接收端的接收缓冲区溢出

2、解决方案

网络缓冲区一般不去设置，可以通过在程序中自定义一个缓冲区
不论网络中有多少数据发送过来，直接使用recv()函数将网络缓冲区中的数据接收到程序所设置的自定义缓冲区中
这样就不会导致接收缓冲区的溢出了，程序也就可以发送正常

五、扩大接收缓冲区

1、client修改recv大小为409600

	//缓冲区
	char szRecv[409600] = {};
	//接收数据 处理粘包 拆分包
	int RecvData(SOCKET _cSock)
	{
		// 5 接收客户端数据
		int nLen = (int)recv(_cSock, szRecv, 409600, 0);
		printf("nLen=%d\n", nLen);
		/*DataHeader* header = (DataHeader*)szRecv;
		if (nLen <= 0)
		{
			printf("与服务器断开连接，任务结束。\n");
			return -1;
		}
		recv(_cSock, szRecv + sizeof(DataHeader), header->dataLength - sizeof(DataHeader), 0);

		OnNetMsg(header);*/
		return 0;
	}

2、server修改recv大小为409600

	char szRecv[409600] = {};
	int RecvData(SOCKET _cSock)
	{
		int nLen = (int)recv(_cSock, szRecv, 409600, 0);
		printf("nLen=%d\n", nLen);
		LoginResult ret;
		SendData(_cSock, &ret);
		/*DataHeader* header = (DataHeader*)szRecv;
		if (nLen <= 0)
		{
			printf("客户端<Socket=%d>已退出，任务结束。\n", (int)_cSock);
			return -1;
		}
		recv(_cSock, szRecv + sizeof(DataHeader), header->dataLength - sizeof(DataHeader), 0);
		OnNetMsg(_cSock, header);*/
		return 0;
	}

3、内网测试login=68，loginResult=1032

并没有出现卡死的现象

4、外网测试login=68，loginResult=1032

并没有出现卡死

六、粘包问题引出

从之前的五-3，五-4的测试结论看出
- 虽然程序没有卡死，但是每次从自定义的缓冲区中取的数据长度都是在变化的
- 并不是固定的
在给server和client设置了足够大的接收数据缓冲区，但是会有一个问题：
- 程序从接收缓冲区中每次都接收足够多的数据（最大不超过409600）
- 因此每次接收时会从网络接收缓冲区中收到很多粘在一起的数据包
- 这些数据包的数量不固定
  - 粘包：因此我们的程序需要处理这种现象，因此我们需要拆分数据包，对单个数据包进行处理
  - 少包：由于数量不固定，也可能少于我们的需要的大小，这时候就会出现少包

到目前为止已经知道了粘包的问题，下一章节继续解决粘包的问题

七、完整源码

1、通用消息头MessageHeader.hpp

enum CMD
{
	CMD_LOGIN,
	CMD_LOGIN_RESULT,
	CMD_LOGOUT,
	CMD_LOGOUT_RESULT,
	CMD_NEW_USER_JOIN,
	CMD_ERROR
};

struct DataHeader
{
	short dataLength;
	short cmd;
};

//DataPackage
struct Login : public DataHeader
{
	Login()
	{
		dataLength = sizeof(Login);
		cmd = CMD_LOGIN;
	}
	char userName[32];
	char PassWord[32];
};

struct LoginResult : public DataHeader
{
	LoginResult()
	{
		dataLength = sizeof(LoginResult);
		cmd = CMD_LOGIN_RESULT;
		result = 0;
	}
	int result;
	char data[1024];
};

struct Logout : public DataHeader
{
	Logout()
	{
		dataLength = sizeof(Logout);
		cmd = CMD_LOGOUT;
	}
	char userName[32];
};

struct LogoutResult : public DataHeader
{
	LogoutResult()
	{
		dataLength = sizeof(LogoutResult);
		cmd = CMD_LOGOUT_RESULT;
		result = 0;
	}
	int result;
};

struct NewUserJoin : public DataHeader
{
	NewUserJoin()
	{
		dataLength = sizeof(NewUserJoin);
		cmd = CMD_NEW_USER_JOIN;
		scok = 0;
	}
	int scok;
};

2、服务端源码

a）EasyTcpServer.hpp

#ifndef _EasyTcpServer_hpp
#define _EasyTcpServer_hpp

#ifdef _WIN32
	#define WIN32_LEAN_AND_MEAN
	#define _WINSOCK_DEPRECATED_NO_WARNINGS
	#define _CRT_SECURE_NO_WARNINGS
	
	#include <Windows.h>
	#include <WinSock2.h>
	#pragma comment(lib,"ws2_32.lib")
#else
	#include <unistd.h>//Unix标准库头文件
	#include <arpa/inet.h>
	#include <string.h>
	
	#define SOCKET int
	#define INVALID_SOCKET  (SOCKET)(~0)
	#define SOCKET_ERROR            (-1)
#endif

#include<stdio.h>
#include<vector>
#include"MessageHeader.hpp"


class EasyTcpServer
{
private:
	SOCKET _sock;
	std::vector<SOCKET> g_clients;
public:
	EasyTcpServer()
	{
		_sock = INVALID_SOCKET;
	}
	virtual ~EasyTcpServer()
	{
		Close();
	}
	//初始化Socket
	SOCKET InitSocket()
	{
#ifdef _WIN32
		//启动Windows socket 2.x环境
		WORD ver = MAKEWORD(2, 2);
		WSADATA dat;
		WSAStartup(ver, &dat);
#endif
		if (INVALID_SOCKET != _sock)
		{
			printf("<socket=%d>关闭旧连接...\n", (int)_sock);
			Close();
		}
		_sock = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
		if (INVALID_SOCKET == _sock)
		{
			printf("错误，建立socket失败...\n");
		}
		else {
			printf("建立socket=<%d>成功...\n", (int)_sock);
		}
		return _sock;
	}

	//绑定IP和端口号
	int Bind(const char* ip, unsigned short port)
	{
		//if (INVALID_SOCKET == _sock)
		//{
		//	InitSocket();
		//}
		// 2 bind 绑定用于接受客户端连接的网络端口
		sockaddr_in _sin = {};
		_sin.sin_family = AF_INET;
		_sin.sin_port = htons(port);//host to net unsigned short

#ifdef _WIN32
		if (ip) {
			_sin.sin_addr.S_un.S_addr = inet_addr(ip);
		}
		else {
			_sin.sin_addr.S_un.S_addr = INADDR_ANY;
		}
#else
		if (ip) {
			_sin.sin_addr.s_addr = inet_addr(ip);
		}
		else {
			_sin.sin_addr.s_addr = INADDR_ANY;
		}
#endif
		int ret = bind(_sock, (sockaddr*)&_sin, sizeof(_sin));
		if (SOCKET_ERROR == ret)
		{
			printf("错误,绑定网络端口<%d>失败...\n", port);
		}
		else {
			printf("绑定网络端口<%d>成功...\n", port);
		}
		return ret;
	}

	//监听端口号
	int Listen(int n)
	{
		// 3 listen 监听网络端口
		int ret = listen(_sock, n);
		if (SOCKET_ERROR == ret)
		{
			printf("socket=<%d>错误,监听网络端口失败...\n", _sock);
		}
		else {
			printf("socket=<%d>监听网络端口成功...\n", _sock);
		}
		return ret;
	}

	//接受客户端连接
	SOCKET Accept()
	{
		// 4 accept 等待接受客户端连接
		sockaddr_in clientAddr = {};
		int nAddrLen = sizeof(sockaddr_in);
		SOCKET _cSock = INVALID_SOCKET;
#ifdef _WIN32
		_cSock = accept(_sock, (sockaddr*)&clientAddr, &nAddrLen);
#else
		_cSock = accept(_sock, (sockaddr*)&clientAddr, (socklen_t*)&nAddrLen);
#endif
		if (INVALID_SOCKET == _cSock)
		{
			printf("socket=<%d>错误,接受到无效客户端SOCKET...\n", (int)_sock);
		}
		else
		{
			NewUserJoin userJoin;
			SendDataToAll(&userJoin);
			g_clients.push_back(_cSock);
			printf("socket=<%d>新客户端加入：socket = %d,IP = %s \n", (int)_sock, (int)_cSock, inet_ntoa(clientAddr.sin_addr));
		}
		return _cSock;
	}

	//关闭Socket
	void Close()
	{
		if (_sock != INVALID_SOCKET)
		{
#ifdef _WIN32
			for (int n = (int)g_clients.size() - 1; n >= 0; n--)
			{
				closesocket(g_clients[n]);
			}
			// 8 关闭套节字closesocket
			closesocket(_sock);
			//------------
			//清除Windows socket环境
			WSACleanup();
#else
			for (int n = (int)g_clients.size() - 1; n >= 0; n--)
			{
				close(g_clients[n]);
			}
			// 8 关闭套节字closesocket
			close(_sock);
#endif
		}
	}
	bool OnRun()
	{
		if (isRun())
		{
			//伯克利套接字 BSD socket
			fd_set fdRead;//描述符（socket） 集合
			fd_set fdWrite;
			fd_set fdExp;
			//清理集合
			FD_ZERO(&fdRead);
			FD_ZERO(&fdWrite);
			FD_ZERO(&fdExp);
			//将描述符（socket）加入集合
			FD_SET(_sock, &fdRead);
			FD_SET(_sock, &fdWrite);
			FD_SET(_sock, &fdExp);
			SOCKET maxSock = _sock;
			for (int n = (int)g_clients.size() - 1; n >= 0; n--)
			{
				FD_SET(g_clients[n], &fdRead);
				if (maxSock < g_clients[n])
				{
					maxSock = g_clients[n];
				}
			}
			///nfds 是一个整数值 是指fd_set集合中所有描述符(socket)的范围，而不是数量
			///既是所有文件描述符最大值+1 在Windows中这个参数可以写0
			timeval t = { 0,0 };
			int ret = select(maxSock + 1, &fdRead, &fdWrite, &fdExp, &t); //&t
			//printf("select ret=%d count=%d\n", ret, _nCount++);
			if (ret < 0)
			{
				printf("select任务结束。\n");
				Close();
				return false;
			}
			//判断描述符（socket）是否在集合中
			if (FD_ISSET(_sock, &fdRead))
			{
				FD_CLR(_sock, &fdRead);
				Accept();
			}
			for (int n = (int)g_clients.size() - 1; n >= 0; n--)
			{
				if (FD_ISSET(g_clients[n], &fdRead))
				{
					if (-1 == RecvData(g_clients[n]))
					{
						auto iter = g_clients.begin() + n;//std::vector<SOCKET>::iterator
						if (iter != g_clients.end())
						{
							g_clients.erase(iter);
						}
					}
				}
			}
			return true;
		}
		return false;

	}
	//是否工作中
	bool isRun()
	{
		return _sock != INVALID_SOCKET;
	}
	char szRecv[409600] = {};
	int RecvData(SOCKET _cSock)
	{
		int nLen = (int)recv(_cSock, szRecv, 409600, 0);
		printf("nLen=%d\n", nLen);
		LoginResult ret;
		SendData(_cSock, &ret);
		/*DataHeader* header = (DataHeader*)szRecv;
		if (nLen <= 0)
		{
			printf("客户端<Socket=%d>已退出，任务结束。\n", (int)_cSock);
			return -1;
		}
		recv(_cSock, szRecv + sizeof(DataHeader), header->dataLength - sizeof(DataHeader), 0);
		OnNetMsg(_cSock, header);*/
		return 0;
	}
	//响应网络消息
	virtual void OnNetMsg(SOCKET _cSock, DataHeader* header)
	{
		switch (header->cmd)
		{
		case CMD_LOGIN:
		{

			Login* login = (Login*)header;
			printf("收到客户端<Socket=%d>请求：CMD_LOGIN,数据长度：%d,userName=%s PassWord=%s\n", (int)_cSock, login->dataLength, login->userName, login->PassWord);
			//忽略判断用户密码是否正确的过程
			LoginResult ret;
			SendData(_cSock, &ret);
		}
		break;
		case CMD_LOGOUT:
		{
			Logout* logout = (Logout*)header;
			printf("收到客户端<Socket=%d>请求：CMD_LOGOUT,数据长度：%d,userName=%s \n", (int)_cSock, logout->dataLength, logout->userName);
			//忽略判断用户密码是否正确的过程
			LogoutResult ret;
			SendData(_cSock, &ret);
		}
		break;
		default:
		{
			DataHeader header = { 0,CMD_ERROR };
			send(_cSock, (char*)&header, sizeof(header), 0);
		}
		break;
		}
	}
	//发送指定Socket数据
	int SendData(SOCKET _cSock, DataHeader* header)
	{
		if (isRun() && header)
		{
			return send(_cSock, (const char*)header, header->dataLength, 0);
		}
		return SOCKET_ERROR;
	}

	void SendDataToAll(DataHeader* header)
	{
		for (int n = (int)g_clients.size() - 1; n >= 0; n--)
		{
			SendData(g_clients[n], header);
		}
	}
};

#endif

b）server.cpp

#include "EasyTcpServer.hpp"

int main()
{
    EasyTcpServer server1;
    server1.InitSocket();
    server1.Bind(nullptr, 4567);
    server1.Listen(5);
    while (server1.isRun())
    {
        server1.OnRun();
    }
    server1.Close();

    printf("已退出，任务结束。\n");
    getchar();
    return 0;
}

3、客户端源码

a）EasyTcpClient.hpp

#ifndef _EasyTcpClient_hpp_
#define _EasyTcpClient_hpp_

#ifdef _WIN32
	#define _CRT_SECURE_NO_WARNINGS
	#define _WINSOCK_DEPRECATED_NO_WARNINGS
	#define WIN32_LEAN_AND_MEAN
	#include<windows.h>
	#include<WinSock2.h>
	#pragma comment(lib,"ws2_32.lib")
#else
	#include<unistd.h> //uni std
	#include<arpa/inet.h>
	#include<string.h>
	
	#define SOCKET int
	#define INVALID_SOCKET  (SOCKET)(~0)
	#define SOCKET_ERROR            (-1)
#endif
#include <stdio.h>
#include "MessageHeader.hpp"

class EasyTcpClient
{
	SOCKET _sock;
public:
	EasyTcpClient()
	{
		_sock = INVALID_SOCKET;
	}

	virtual ~EasyTcpClient()
	{
		Close();
	}
	//初始化socket
	void InitSocket()
	{
#ifdef _WIN32
		//启动Windows socket 2.x环境
		WORD ver = MAKEWORD(2, 2);
		WSADATA dat;
		WSAStartup(ver, &dat);
#endif
		if (INVALID_SOCKET != _sock)
		{
			printf("<socket=%d>关闭旧连接...\n", _sock);
			Close();
		}
		_sock = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
		if (INVALID_SOCKET == _sock)
		{
			printf("错误，建立Socket失败...\n");
		}
		else {
			printf("建立Socket成功...\n");
		}
	}

	//连接服务器
	int Connect(const char* ip, unsigned short port)
	{
		if (INVALID_SOCKET == _sock)
		{
			InitSocket();
		}
		// 2 连接服务器 connect
		sockaddr_in _sin = {};
		_sin.sin_family = AF_INET;
		_sin.sin_port = htons(port);
#ifdef _WIN32
		_sin.sin_addr.S_un.S_addr = inet_addr(ip);
#else
		_sin.sin_addr.s_addr = inet_addr(ip);
#endif
		int ret = connect(_sock, (sockaddr*)&_sin, sizeof(sockaddr_in));
		if (SOCKET_ERROR == ret)
		{
			printf("错误，连接服务器失败...\n");
		}
		else {
			printf("连接服务器成功...\n");
		}
		return ret;
	}

	//关闭套节字closesocket
	void Close()
	{
		if (_sock != INVALID_SOCKET)
		{
#ifdef _WIN32
			closesocket(_sock);
			//清除Windows socket环境
			WSACleanup();
#else
			close(_sock);
#endif
			_sock = INVALID_SOCKET;
		}
	}

	//处理网络消息
	bool OnRun()
	{
		if (isRun())
		{
			fd_set fdReads;
			FD_ZERO(&fdReads);
			FD_SET(_sock, &fdReads);
			timeval t = { 0,0 };
			int ret = select(_sock + 1, &fdReads, 0, 0, &t);
			if (ret < 0)
			{
				printf("<socket=%d>select任务结束1\n", _sock);
				return false;
			}
			if (FD_ISSET(_sock, &fdReads))
			{
				FD_CLR(_sock, &fdReads);

				if (-1 == RecvData(_sock))
				{
					printf("<socket=%d>select任务结束2\n", _sock);
					return false;
				}
			}
			return true;
		}
		return false;
	}

	//是否工作中
	bool isRun()
	{
		return _sock != INVALID_SOCKET;
	}

	//缓冲区
	char szRecv[409600] = {};
	//接收数据 处理粘包 拆分包
	int RecvData(SOCKET _cSock)
	{
		// 5 接收客户端数据
		int nLen = (int)recv(_cSock, szRecv, 409600, 0);
		printf("nLen=%d\n", nLen);
		/*DataHeader* header = (DataHeader*)szRecv;
		if (nLen <= 0)
		{
			printf("与服务器断开连接，任务结束。\n");
			return -1;
		}
		recv(_cSock, szRecv + sizeof(DataHeader), header->dataLength - sizeof(DataHeader), 0);

		OnNetMsg(header);*/
		return 0;
	}

	//响应网络消息
	void OnNetMsg(DataHeader* header)
	{
		switch (header->cmd)
		{
		case CMD_LOGIN_RESULT:
		{

			LoginResult* login = (LoginResult*)header;
			printf("收到服务端消息：CMD_LOGIN_RESULT,数据长度：%d\n", login->dataLength);
		}
		break;
		case CMD_LOGOUT_RESULT:
		{
			LogoutResult* logout = (LogoutResult*)header;
			printf("收到服务端消息：CMD_LOGOUT_RESULT,数据长度：%d\n", logout->dataLength);
		}
		break;
		case CMD_NEW_USER_JOIN:
		{
			NewUserJoin* userJoin = (NewUserJoin*)header;
			printf("收到服务端消息：CMD_NEW_USER_JOIN,数据长度：%d\n", userJoin->dataLength);
		}
		break;
		}
	}

	//发送数据
	int SendData(DataHeader* header)
	{
		if (isRun() && header)
		{
			return send(_sock, (const char*)header, header->dataLength, 0);
		}
		return SOCKET_ERROR;
	}
private:

};

#endif

b）client.cpp

#include "EasyTcpClient.hpp"
#include<thread>

void cmdThread(EasyTcpClient* client)
{
	while (true)
	{
		char cmdBuf[256] = {};
		scanf("%s", cmdBuf);
		if (0 == strcmp(cmdBuf, "exit"))
		{
			client->Close();
			printf("退出cmdThread线程\n");
			break;
		}
		else if (0 == strcmp(cmdBuf, "login"))
		{
			Login login;
			strcpy(login.userName, "lyd");
			strcpy(login.PassWord, "lydmm");
			client->SendData(&login);

		}
		else if (0 == strcmp(cmdBuf, "logout"))
		{
			Logout logout;
			strcpy(logout.userName, "lyd");
			client->SendData(&logout);
		}
		else {
			printf("不支持的命令。\n");
		}
	}
}

int main()
{
	EasyTcpClient client;
	client.Connect("127.0.0.1", 4567);
	//启动UI线程
	std::thread t1(cmdThread, &client);
	t1.detach();
	Login login;
	strcpy(login.userName, "zjp");
	strcpy(login.PassWord, "mima");
	while (client.isRun())
	{
		client.OnRun();
		client.SendData(&login);
		//printf("空闲时间处理其它业务..\n");
		//Sleep(1000);
	}
	client.Close();

	printf("已退出。\n");
	getchar();
	return 0;
}

无休止符

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
十、粘包（一）网络缓冲区

前言之前我们在server和client发送的数据包都比较小例如Login消息长度=68，LoginResult消息长度=8接下来我们来测试消息长度比较大的时候，网络消息收发的情况一、内网不间断测试1、消息长度Login=68，LoginResult=8server和client的select都修改成非阻塞timeval t = { 0,0 };int ret = select(maxSock + 1, &fdRead, &fdWrite, &fdExp, &amp
复制链接

扫一扫