socket分包粘包以及一种处理方式(python)

背景：

在之前开发中遇到，从节点通过socket上报资源使用情况时，发现有时上报不上来，根据发现，由于数据比之前服务端设置的recv值大一些，导致分包，但服务端又直接按照整包的情况进行处理了，所以导致的问题。

分包

假设包的长度最长设置为5字节（较极端的假设，一般长度设置为1000到1500之间），那么在没有粘包的情况下，客户端发送一个大于5字节的包，那么就会产生分包的情况

# 服务端
import socket
import subprocess

din = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
ip_port = ('127.0.0.1', 8080)
din.bind(ip_port)
din.listen(5)
conn, deer = din.accept()
data1 = conn.recv(10)
print(data1)

#结果  b'helloworld'

# 客户端
import socket
import subprocess

din = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
ip_port = ('127.0.0.1', 8080)
din.connect(ip_port)
din.send('helloworld564646546464546644'.encode('utf-8'))

粘包

两个包在很短的时间间隔内发送，比如在0.1秒内发送了这两个包，如果包长度足够的话，那么接收方只会接收到一个包

对应到代码中就是客户端一次性连续发送两个包，并且这两个包的长度加起来服务器能当做一个包接收的话，那么就会接收到这个粘包

# 服务端
import socket
import subprocess

din = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
ip_port = ('127.0.0.1', 8080)
din.bind(ip_port)
din.listen(5)
conn, deer = din.accept()
data1 = conn.recv(20)
print(data1)

#结果  b'helloworldtest'

# 客户端
import socket
import subprocess

din = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
ip_port = ('127.0.0.1', 8080)
din.connect(ip_port)
din.send('helloworld'.encode('utf-8'))
din.send('test'.encode('utf-8'))

问题解决：

注：此方法得斟酌后使用

# 服务器
import socket
import pickle
import json
import struct
from cheduler import A

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.bind(('0.0.0.0', 0))
s.listen(0)

port = s.getsockname()[1]
print(port)

while True:
    sock, address = s.accept()

    while True:
        data = sock.recv(4)
        if data:
            head_len = struct.unpack('i', data)[0]
            head_bytes = sock.recv(head_len)
            head_json = head_bytes.decode("utf-8")
            head_dic = json.loads(head_json)
            data_lik = head_dic["head"]
            recv = 0
            recv_data = b''
            while recv < data_lik:
                dt = sock.recv(1024)
                recv += len(dt)
                recv_data += dt
            # a = pickle.loads(recv_data)
            print(a)
    sock.close()

客户端
import pickle
import socket
import json
import struct

socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
socket.connect(("127.0.0.1", 41343))
from cheduler import A


a = A("123")
while True:
    try:
        # data = pickle.dumps(a)
        data = b"test"
        data_len = len(data)
        head_dic = {"head": data_len}
        head_json = json.dumps(head_dic)
        head_byte = head_json.encode("utf-8")
        head_len = len(head_byte)
        socket.sendall(struct.pack("i", head_len))
        socket.sendall(head_byte)
        socket.sendall(data)
        socket.close()
        break
    except Exception as e:
        print(e)
        break