流式协议

最新推荐文章于 2023-12-27 13:54:56 发布

yikenaoguazi

最新推荐文章于 2023-12-27 13:54:56 发布

阅读量735

点赞数

分类专栏： start all over again

本文链接：https://blog.csdn.net/yikenaoguazi/article/details/107998228

版权

start all over again 专栏收录该内容

133 篇文章

订阅专栏

本文介绍了TCP流式协议中的粘包问题及其解决方案，通过自定义应用层协议来处理粘包。内容包括引子、远程执行命令程序的解决方法，以及定制复杂报头的两个版本，涉及client.py和server.py的代码示例。

摘要由CSDN通过智能技术生成

day31

一.流式协议

一.流式协议

tcp流式协议===>粘包问题(***)
只有tcp协议有粘包问题,udp协议没有

socket收发消息的原理:

在这里插入图片描述

解决方案:自定义应用层协议
注意:

head+data
head的长度必须固定

引子:

tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住

client.py

from socket import *

client = socket(AF_INET, SOCK_STREAM)
# print(client)
client.connect(('127.0.0.1', 8080))

while True:
    cmd = input(">>: ").strip()
    # 如果输入为空,就继续输入
    if len(cmd) == 0:
        continue
    client.send(cmd.encode('utf-8'))
    print('=======>')
    data = client.recv(1024)
    print('111111')
    print(data.decode('utf-8'))
client.close()

sever.py

from socket import *

server = socket(AF_INET, SOCK_STREAM)
# print(server)
server.bind(('127.0.0.1', 8080))
server.listen(5)
while True:
    conn, client_addr = server.accept()
    print(conn)
    print(client_addr)

    while True:
        try:
            data = conn.recv(1024)
            conn.send(data.upper())
        except Exception:
            break
    conn.close()

server.close()

两种情况下会发生粘包

发送端需要等缓冲区满才发送出去，造成粘包（发送数据时间间隔很短，数据很小，
会合到一起，产生粘包）

接收方不及时接收缓冲区的包，造成多个包接收（客户端发送了一段数据，服务端只
收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包）

远程执行命令程序解决粘包问题

为字节流加上自定义固定长度报头，报头中包含字节流长度，然后一次send到对端，对端在接收时，先从缓存中取出定长的报头，然后再取真实数据

struct模块

该模块可以把一个类型，如数字，转成固定长度的bytes

在这里插入图片描述

client.py

import struct
from socket import *

client = socket(AF_INET, SOCK_STREAM)
# print(client)
client.connect(('127.0.0.1', 8082))

while True:
    cmd = input(">>: ").strip()
    if len(cmd) == 0:
        continue
    client.send(cmd.encode('utf-8'))

    # 先收数据的长度
    n = 0
    header = b''
    while n < 4:
        data = client.recv(1)
        header += data
        n += len(data)

    total_size = struct.unpack('i', header)[0]

    # 收真正的数据
    recv_size = 0
    res = b''
    while recv_size < total_size:
        data = client.recv(1024)
        res += data
        recv_size += len(data)

    print(res.decode('gbk'))

client.close()

server.py

import subprocess
import struct
from socket import *

server = socket(AF_INET, SOCK_STREAM)
# print(server)
server.bind(('127.0.0.1', 8082))
server.listen(5)
while True:
    conn, client_addr = server.accept()
    print(conn)
    print(client_addr)

    while True:
        try:
            cmd = conn.recv(1024)
            obj = subprocess.Popen(cmd.decode('utf-8'),
                                   shell=True,
                                   stdout=subprocess.PIPE,
                                   stderr=subprocess.PIPE,
                                   )

            stdout = obj.stdout.read()
            stderr = obj.stdout.read()
            total_size = len(stdout) + len(stderr)

            # 先发送数据的长度
            conn.send(struct.pack('i',total_size))
            # 发送真正的数据
            conn.send(stdout)
            conn.send(stderr)
        except Exception:
            break
    conn.close()

server.close()

注意:

res=subprocess.Popen(cmd.decode('utf-8'),
shell=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)

上面的结果的编码是以当前所在的系统为准的，如果是windows，那么res.stdout.read()读出的就是GBK编码的，在接收端需要用GBK解码

且只能从管道里读一次结果

定制复杂的报头

版本1

client.py

import struct
from socket import *

client = socket(AF_INET, SOCK_STREAM)
# print(client)
client.connect(('127.0.0.1', 8082))

while True:
    cmd = input(">>: ").strip()  # get 文件路径
    if len(cmd) == 0:
        continue
    client.send(cmd.encode('utf-8'))

    # 先收数据的长度
    n = 0
    header = b''
    while n < 8:
        data = client.recv(1)
        header += data
        n += len(data)

    total_size = struct.unpack('q', header)[0]
    print(total_size)
    # 收真正的数据
    recv_size = 0
    with open('aaa.jpg', mode='wb') as f:
        while recv_size < total_size:
            data = client.recv(1024)
            f.write(data)
            recv_size += len(data)


client.close()

server.py

import subprocess
import os
import struct
from socket import *

server = socket(AF_INET, SOCK_STREAM)
# print(server)
server.bind(('127.0.0.1', 8082))
server.listen(5)
while True:
    conn, client_addr = server.accept()
    print(conn)
    print(client_addr)

    while True:
        try:
            msg = conn.recv(1024).decode('utf-8')
            cmd,file_path=msg.split()
            if cmd == "get":
                # 先发送报头
                total_size=os.path.getsize(file_path)
                conn.send(struct.pack('q',total_size))
                # 再发送文件
                with open(r'%s' %file_path,mode='rb') as f:
                    for line in f:
                        conn.send(line)
        except Exception:
            break
    conn.close()

server.close()

版本2:下载文件

我们可以把报头做成字典，字典里包含将要发送的真实数据的详细信息，然后json序列化，然后用struck将序列化后的数据长度打包成4个字节（4个自己足够用了）
发送时：

先发报头长度
再编码报头内容然后发送
最后发真实内容

接收时：

先接收报头长度，用struct取出来
根据取出的长度收取报头内容，然后解码，反序列化
从反序列化的结果中取出待取数据的详细信息，然后去取真实的数据内容

服务端：定制稍微复杂一点的报头

client.py

import struct
import json
from socket import *

client = socket(AF_INET, SOCK_STREAM)
# print(client)
client.connect(('127.0.0.1', 8082))

while True:
    cmd = input(">>: ").strip()  # get 文件路径
    if len(cmd) == 0:
        continue
    client.send(cmd.encode('utf-8'))

    # 1、先接收报头的长度
    res=client.recv(4)
    header_size=struct.unpack('i',res)[0]
    # 2、再接收报头
    header_json_bytes=client.recv(header_size)
    header_json=header_json_bytes.decode('utf-8')
    header_dic=json.loads(header_json)
    print(header_dic)
    # 3、最后接收真实的数据
    total_size=header_dic['total_size']
    filename=header_dic['filename']
    recv_size = 0
    with open(r"D:\python全栈15期\day32\代码\03 定制复杂的报头\版本2\download\%s" %filename, mode='wb') as f:
        while recv_size < total_size:
            data = client.recv(1024)
            f.write(data)
            recv_size += len(data)


client.close()

server.py

import subprocess
import os
import struct
import json
from socket import *

server = socket(AF_INET, SOCK_STREAM)
# print(server)
server.bind(('127.0.0.1', 8082))
server.listen(5)
while True:
    conn, client_addr = server.accept()
    print(conn)
    print(client_addr)

    while True:
        try:
            msg = conn.recv(1024).decode('utf-8')
            cmd,file_path=msg.split()
            if cmd == "get":
                # 一、制作报头
                header_dic={
                    "total_size":os.path.getsize(file_path),
                    "filename":os.path.basename(file_path),
                    "md5":"1231231231232132131232311"
                }
                header_json=json.dumps(header_dic)
                header_json_bytes=header_json.encode('utf-8')


                # 二、发送数据
                # 1、先发送报头的长度
                header_size=len(header_json_bytes)
                conn.send(struct.pack('i',header_size))
                # 2、再发送报头
                conn.send(header_json_bytes)
                # 3、最后发送真实的数据
                with open(r'%s' %file_path,mode='rb') as f:
                    for line in f:
                        conn.send(line)
        except Exception:
            break
    conn.close()

server.close()