python_fullstack基础(十七)-网络编程

网络编程

一、网络初识

1、何为IP地址:

①IP地址是指互联网协议地址(英语:Internet Protocol Address,又译为网际协议地址),是IP Address的缩写
②IP地址是IP协议提供的一种统一的地址格式,它为互联网上的每一个网络和每一台主机分配一个逻辑地址,以此来屏蔽物理地址的差异
③IP地址是一个32位的二进制数,通常被分割为4个“8位二进制数”(也就是4个字节)
④IP地址通常用“点分十进制”表示成(a.b.c.d)的形式,其中,a,b,c,d都是0~255之间的十进制整数
  • 例:点分十进IP地址(192.168.5.6),实际上是32位二进制数(01100100.00000100.00000101.00000110)

2、何为端口(port)

①”端口”是英文port的意译,可以认为是设备与外界通讯交流的出口

3、osi七层模型

这里写图片描述

4、何为套接字(socket)

Socket是应用层与TCP/IP协议簇通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议。
这里写图片描述

5、套接字家族

①基于文件类型

套接字家族的名字:AF_UNIX

unix一切皆文件,基于文件的套接字调用的就是底层的文件系统来取数据,两个套接字进程运行在同一机器,可以通过访问同一个文件系统间接完成通信

②基于网络类型

套接字家族的名字:AF_INET

(还有AF_INET6被用于ipv6,还有一些其他的地址家族,不过,他们要么是只用于某个平台,要么就是已经被废弃,或者是很少被使用,或者是根本没有实现,所有地址家族中,AF_INET是使用最广泛的一个,python支持很多种地址家族,但是由于我们只关心网络编程,所以大部分时候我么只使用AF_INET)

6、tcp协议、udp协议

①TCP(Transmission Control Protocol)可靠的、面向连接的协议(eg:打电话)、传输效率低全双工通信(发送缓存&接收缓存)、面向字节流。使用TCP的应用:Web浏览器;电子邮件、文件传输程序。

这里写图片描述

②UDP(User Datagram Protocol)不可靠的、无连接的服务,传输效率高(发送前时延小),一对一、一对多、多对一、多对多、面向报文,尽最大努力服务,无拥塞控制。使用UDP的应用:域名系统 (DNS);视频流;IP语音(VoIP)

二、套接字(socket)初始使用

1、基于TCP协议的socket

①server端
import socket

sk = socket.socket()
sk.bind(('127.0.0.1', 8088))
sk.listen()
conn, addr = sk.accept()
while True:
    res = conn.recv(1024).decode('utf-8')
    if res == 'bye':
        break
    else:
        print(res)
    info = input('请输入:\n>>>').encode('utf-8')
    conn.send(info)
conn.close()
sk.close()
②client端
import socket

sk= socket.socket()
sk.connect(('127.0.0.1', 8088))
while True:
    info = input('请输入:\n>>>').encode('utf-8')
    sk.send(info)
    res = sk.recv(1024).decode('utf-8')
    if res == 'bye':
        break
    else:
        print(res)
sk.close()
③对于Address already in use的情况,可以加入socket配置重用ip和端口
import socket
from socket import SOL_SOCKET,SO_REUSEADDR
sk = socket.socket()
sk.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind前加
sk.bind(('127.0.0.1',8898))  #把地址绑定到套接字
sk.listen()          #监听链接
conn,addr = sk.accept() #接受客户端链接
ret = conn.recv(1024)   #接收客户端信息
print(ret)              #打印客户端信息
conn.send(b'hi')        #向客户端发送信息
conn.close()       #关闭客户端套接字
sk.close()        #关闭服务器套接字(可选)
④一个服务端与多个客户端交互示例
  • 服务端
import socket

sk = socket.socket()
sk.bind(('127.0.0.1', 8088))
# listen([backlog])中的[backlog]参数代表服务端允许多少客户端连接到服务端,即阻塞队列长度,所以一共能与服务器连接的客户端共有backlog+1个
sk.listen(3)
while True:
    conn, addr = sk.accept() # sk.accept()放在循环内部是为了每次与同一个客户端交互结束后会重新建立conn连接,以便下一个客户端连入
    res = conn.recv(1024).decode('utf-8')
    if res == 'bye':
        break
    else:
        print('收到',res)
    info = input('请输入>>>').encode('utf-8')
    conn.send(info)
    conn.close() # 同上面sk.accept()的作用
sk.close()
  • 客户端(可以多个客户端逐个与服务端进行通讯)
import socket

sk = socket.socket()
sk.connect(('127.0.0.1', 8088))
while True:
    info = input('请输入>>>').encode('utf-8')
    if info == 'bye':
        break
    else:
        sk.send(info)
    res = sk.recv(1024).decode('utf-8')
    print(res)
sk.close()

2、基于UDP协议的socket:不可靠 无连接,效率高

①server端
import socket
ip_port=('127.0.0.1',9000)
BUFSIZE=1024
udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
udp_server_client.bind(ip_port)
while True:
    msg,addr=udp_server_client.recvfrom(BUFSIZE)
    print(msg,addr)
    udp_server_client.sendto(msg.upper(),addr)
②client端
            import socket
            ip_port=('127.0.0.1',9000)
            BUFSIZE=1024
            udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
            while True:
                msg=input('>>: ').strip()
                if not msg:continue
                udp_server_client.sendto(msg.encode('utf-8'),ip_port)
                back_msg,addr=udp_server_client.recvfrom(BUFSIZE)
                print(back_msg.decode('utf-8'),addr)
③模拟QQ聊天
  • server端
import socket

sk = socket.socket(type=socket.SOCK_DGRAM)
sk.bind(('127.0.0.1', 8888))
while True:
    msg, addr = sk.recvfrom(1024)
    print('消息地址:' + addr)
    if msg.decode('utf-8') == 'bye':
        break
    else:
        print(msg.decode('utf-8'))
    info = input('>>>').encode('utf-8')
    sk.sendto(info, addr)
sk.close()
  • client端(可以多个客户端逐个与服务端进行通讯)
import socket

sk = socket.socket(type=socket.SOCK_DGRAM)
ip_port = ('127.0.0.1', 8888)
while True:
    info = input('client:')
    info = ('\033[33m来自client的消息 :%s\033[0m' % info).encode('utf-8')
    sk.sendto(info, ip_port)
    msg, addr = sk.recvfrom(1024)
    if msg.decode('utf-8') == 'bye':
        break
    else:
        print(msg.decode('utf-8'))
sk.close()
④客户端请求日期时间格式,服务器端接收到请求后发送至客户端
  • server端
import socket
import time

sk = socket.socket(type=socket.SOCK_DGRAM)
sk.bind(('127.0.0.1',8888))
while True:
    msg,addr = sk.recvfrom(1024)
    if msg.decode('utf-8') == 'bye':
        break
    else:
        print(msg.decode('utf-8'))
    str_time = time.strftime(msg.decode('utf-8')).encode('utf-8')
    sk.sendto(str_time,addr)
sk.close()
  • client端
import socket
import time

sk = socket.socket(type=socket.SOCK_DGRAM)
while True:
    format_type = input('请输入想要的格式(或者直接回车默认格式):>>>').strip()
    if format_type.lower() == 'bye':
        break
    elif format_type:
        sk.sendto(bytes(format_type,encoding='utf-8'),('127.0.0.1',8888))
    else:
        print('你没输入格式,那就默认啦!%Y-%m-%d %H-%M-%S')
        sk.sendto(b'%Y-%m-%d %H-%M-%S',('127.0.0.1',8888))
    msg, addr = sk.recvfrom(1024)
    print(msg.decode('utf-8'))
sk.close()

3、黏包

①产生原因:粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的。
②特点:只有TCP有粘包现象,UDP永远不会粘包
③产生黏包的两种情况
  • 发送数据时间间隔很短,数据了很小,会合到一起,产生粘包
    • 服务端
from socket import *
ip_port=('127.0.0.1',8080)
tcp_socket_server=socket(AF_INET,SOCK_STREAM)
tcp_socket_server.bind(ip_port)
tcp_socket_server.listen(5)
conn,addr=tcp_socket_server.accept()
data1=conn.recv(10)
data2=conn.recv(10)
print('----->',data1.decode('utf-8'))
print('----->',data2.decode('utf-8'))
conn.close()
  • 客户端
import socket
BUFSIZE=1024
ip_port=('127.0.0.1',8080)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(ip_port)
s.send('hello'.encode('utf-8'))
s.send('feng'.encode('utf-8'))
  • 接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包)
    • 服务端
from socket import *
ip_port=('127.0.0.1',8080)
tcp_socket_server=socket(AF_INET,SOCK_STREAM)
tcp_socket_server.bind(ip_port)
tcp_socket_server.listen(5)
conn,addr=tcp_socket_server.accept()
data1=conn.recv(2) #一次没有收完整
data2=conn.recv(10)#下次收的时候,会先取旧的数据,然后取新的
print('----->',data1.decode('utf-8'))
print('----->',data2.decode('utf-8'))
conn.close()
  • 客户端
import socket
BUFSIZE=1024
ip_port=('127.0.0.1',8080)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(ip_port)
s.send('hello feng'.encode('utf-8'))
④黏包的解决方案
  • 原理:问题的根源在于,接收端不知道发送端将要传送的字节流的长度,所以解决粘包的方法就是围绕,如何让发送端在发送数据前,把自己将要发送的字节流总大小让接收端知晓,然后接收端来一个死循环接收完所有数据。
  • 简单粗暴版—直接告知客户端发送数据的长度(Server端)
import socket, subprocess

sk = socket.socket()
sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sk.bind(('localhost', 8070))
sk.listen()

while True:
    conn, addr = sk.accept()
    print('客户端:', addr)
    while True:
        msg = conn.recv(1024)
        if not msg:
            break
        res_temp = subprocess.Popen(msg.decode('utf-8'), shell=True,
                                    stdin=subprocess.PIPE,
                                    stdout=subprocess.PIPE,
                                    stderr=subprocess.PIPE)
        error = res_temp.stderr.read()
        if error:
            res = error
        else:
            res = res_temp.stdout.read()
        date_len = len(res)
        conn.send(str(date_len).encode('utf-8'))
        data = conn.recv(1024).decode('utf-8')
        if data == 'recv_ready':
            conn.sendall()
    conn.close()
  • 简单粗暴版—直接告知客户端发送数据的长度(Client端)
import socket

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
res = s.connect_ex(('127.0.0.1', 8080))
while True:
    msg = input('>>: ').strip()
    if len(msg) == 0: 
        continue
    if msg == 'quit': 
        break
    s.send(msg.encode('utf-8'))
    length = int(s.recv(1024).decode('utf-8'))
    s.send('recv_ready'.encode('utf-8'))
    send_size = 0
    recv_size = 0
    data = b''
    while recv_size < length:
        data += s.recv(1024)
        recv_size += len(data)
    print(data.decode('utf-8'))
  • 进阶升级版—借助struct模块打包定制报头(Server端)
import socket, struct, json
import subprocess

sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)  # 就是它,在bind前加
sk.bind(('127.0.0.1', 8080))
sk.listen(5)

while True:
    conn, addr = sk.accept()
    while True:
        cmd = conn.recv(1024)
        if not cmd: 
            break
        print('cmd: %s' % cmd)
        res = subprocess.Popen(cmd.decode('utf-8'),
                               shell=True,
                               stdin=subprocess.PIPE,
                               stdout=subprocess.PIPE,
                               stderr=subprocess.PIPE)
        err = res.stderr.read()
        print(err)
        if err:
            back_msg = err
        else:
            back_msg = res.stdout.read()
        conn.send(struct.pack('i', len(back_msg)))  # 先发back_msg的长度
        conn.sendall(back_msg)  # 在发真实的内容
    conn.close()
  • 进阶升级版—借助struct模块打包定制报头(Server端)
import socket, time, struct

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
res = s.connect_ex(('127.0.0.1', 8080))

while True:
    msg = input('>>: ').strip()
    if len(msg) == 0: continue
    if msg == 'quit': break
    s.send(msg.encode('utf-8'))
    l = s.recv(4)
    x = struct.unpack('i', l)[0]
    print(type(x), x)
    r_s = 0
    data = b''
    while r_s < x:
        r_d = s.recv(1024)
        data += r_d
        r_s += len(r_d)
    print(data.decode('gbk'))  # windows默认gbk编码
  • 自定义报头进阶:
    • 将报头做成字典,字典里包含将要发送的真实数据的详细信息而后序列化,再用struck将序列化后的数据长度打包成4个字节
⑤网络传输大文件的解决方案(读取固定字节内容,避免全部读进内存使得内存占用过大)
  • Server端
import json
import socket
import struct
sk = socket.socket()
sk.bind(('127.0.0.1',8090))
sk.listen()
buffer = 1024
conn,addr = sk.accept()
# 接收
head_len = conn.recv(4)
head_len = struct.unpack('i',head_len)[0]
json_head = conn.recv(head_len).decode('utf-8')
head = json.loads(json_head)
filesize = head['filesize']
with open(head['filename'],'wb') as f:
    while filesize:
        print(filesize)
        if filesize >= buffer:
            content = conn.recv(buffer)
            f.write(content)
            filesize -= len(content)
        else:
            content = conn.recv(filesize)
            f.write(content)
            break
conn.close()
sk.close()
  • Client端
import os
import json
import struct
import socket
sk = socket.socket()
sk.connect(('127.0.0.1',8090))
buffer = 2048
# 发送文件
head = {'filepath':r'C:\Users\yg\Desktop',
        'filename':r'02 python fullstack s9day32 基于udp的socket服务.mp4',
        'filesize':None}
file_path = os.path.join(head['filepath'],head['filename'])
filesize = os.path.getsize(file_path)
head['filesize'] = filesize
json_head = json.dumps(head)   # 字典转成了字符串
bytes_head = json_head.encode('utf-8')      # 字符串转bytes
# 计算head的长度
head_len = len(bytes_head)    # 报头的长度
pack_len = struct.pack('i',head_len)
sk.send(pack_len)  # 先发报头的长度
sk.send(bytes_head) # 再发送bytes类型的报头
with open(file_path,'rb') as f:
    while filesize:
        print(filesize)
        if filesize >= buffer:
            content = f.read(buffer)   # 每次读出来的内容
            sk.send(content)
            filesize -= len(content)
        else:
            content = f.read(filesize)
            sk.send(content)
            break
sk.close()

4、socket更多方法

①服务端套接字函数
s.bind()    绑定(主机,端口号)到套接字
s.listen()  开始TCP监听
s.accept()  被动接受TCP客户的连接,(阻塞式)等待连接的到来
②客户端套接字函数
    s.connect()     主动初始化TCP服务器连接
    s.connect_ex()  connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
③公共用途的套接字函数
    s.recv()            接收TCP数据
    s.send()            发送TCP数据
    s.sendall()         发送TCP数据
    s.recvfrom()        接收UDP数据
    s.sendto()          发送UDP数据
    s.getpeername()     连接到当前套接字的远端的地址
    s.getsockname()     当前套接字的地址
    s.getsockopt()      返回指定套接字的参数
    s.setsockopt()      设置指定套接字的参数
    s.close()           关闭套接字
④面向锁的套接字方法
    s.setblocking()     设置套接字的阻塞与非阻塞模式
    s.settimeout()      设置阻塞套接字操作的超时时间
    s.gettimeout()      得到阻塞套接字操作的超时时间
⑤面向文件的套接字的函数
    s.fileno()          套接字的文件描述符
    s.makefile()        创建一个与该套接字相关的文件

5、hmac模块—客户端链接合法性验证

①简介:

如果想在分布式系统中实现一个简单的客户端链接认证功能,又不像SSL那么复杂,则可以利用hmac+加盐的方式来实现

②链接合法性验证—举例
# Server端
import os, socket, hmac

secret_key = b'secretkey'
sk = socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM)
sk.bind(('localhost', 8889))
sk.listen()


def check_client(conn):
    send_msg = os.urandom(32)
    conn.send(send_msg)
    h = hmac.new(secret_key, send_msg)
    digest = h.digest()
    client_digest = conn.recv(1024)
    return hmac.compare_digest(digest, client_digest)


conn, addr = sk.accept()
is_legal = check_client(conn)
if is_legal:
    print('合法客户端!')
    conn.send(b'legal')
    while True:
        recv_msg = conn.recv(1024).decode('utf-8')
        if recv_msg.lower() == 'q':
            conn.send(b'q')
            conn.close()
            break
        else:
            print(recv_msg)
        info = input('服务端>>>').strip()
        if info:
            conn.send(info.encode('utf-8'))
else:
    print('非法客户端!')
    conn.close()
sk.close()
#Client端
import socket, hmac

secret_key = b'secretkey'
sk = socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM)
sk.connect(('localhost', 8889))

msg = sk.recv(1024)
h = hmac.new(secret_key, msg)
digest = h.digest()
sk.send(digest)
is_legal = sk.recv(1024)
if is_legal == b'legal':
    while True:
        info = input('客户端>>>').strip()
        if info:
            sk.send(info.encode('utf-8'))
        recv_msg = sk.recv(1024).decode('utf-8')
        if recv_msg == 'q':
            break
        else:
            print(recv_msg)
sk.close()

6、利用socketserver模块处理服务端与多客户端交互问题

①应用实例
#Server端
import socketserver

class MyServer(socketserver.BaseRequestHandler):
    def handle(self):
        while True:
            recv_msg = self.request.recv(1024).decode('utf-8')
            if recv_msg == 'q':
                self.request.send(b'q')
                break
            else:
                print(recv_msg)
            info = input('服务端>>>').strip()
            if info:
                self.request.send(info.encode('utf-8'))

if __name__ == '__main__':
    server = socketserver.ThreadingTCPServer(('localhost', 8889), MyServer)
    server.allow_reuse_address = True
    server.serve_forever()
#Client端
import socket

sk = socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM)
sk.connect(('localhost', 8889))
while True:
    info = input('客户端>>>').strip()
    if info == '':
        continue
    elif info == 'q':
        sk.send(info.encode('utf-8'))
        break
    else:
        sk.send(info.encode('utf-8'))
        recv_msg = sk.recv(1024).decode('utf-8')
        print(recv_msg)
sk.close()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值