网络编程
一、网络初识
1、何为IP地址:
①IP地址是指互联网协议地址(英语:Internet Protocol Address,又译为网际协议地址),是IP Address的缩写
②IP地址是IP协议提供的一种统一的地址格式,它为互联网上的每一个网络和每一台主机分配一个逻辑地址,以此来屏蔽物理地址的差异
③IP地址是一个32位的二进制数,通常被分割为4个“8位二进制数”(也就是4个字节)
④IP地址通常用“点分十进制”表示成(a.b.c.d)的形式,其中,a,b,c,d都是0~255之间的十进制整数
- 例:点分十进IP地址(192.168.5.6),实际上是32位二进制数(01100100.00000100.00000101.00000110)
2、何为端口(port)
①”端口”是英文port的意译,可以认为是设备与外界通讯交流的出口
3、osi七层模型
4、何为套接字(socket)
Socket是应用层与TCP/IP协议簇通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议。
5、套接字家族
①基于文件类型
套接字家族的名字:AF_UNIX
unix一切皆文件,基于文件的套接字调用的就是底层的文件系统来取数据,两个套接字进程运行在同一机器,可以通过访问同一个文件系统间接完成通信
②基于网络类型
套接字家族的名字:AF_INET
(还有AF_INET6被用于ipv6,还有一些其他的地址家族,不过,他们要么是只用于某个平台,要么就是已经被废弃,或者是很少被使用,或者是根本没有实现,所有地址家族中,AF_INET是使用最广泛的一个,python支持很多种地址家族,但是由于我们只关心网络编程,所以大部分时候我么只使用AF_INET)
6、tcp协议、udp协议
①TCP(Transmission Control Protocol)可靠的、面向连接的协议(eg:打电话)、传输效率低全双工通信(发送缓存&接收缓存)、面向字节流。使用TCP的应用:Web浏览器;电子邮件、文件传输程序。
②UDP(User Datagram Protocol)不可靠的、无连接的服务,传输效率高(发送前时延小),一对一、一对多、多对一、多对多、面向报文,尽最大努力服务,无拥塞控制。使用UDP的应用:域名系统 (DNS);视频流;IP语音(VoIP)
二、套接字(socket)初始使用
1、基于TCP协议的socket
①server端
import socket
sk = socket.socket()
sk.bind(('127.0.0.1', 8088))
sk.listen()
conn, addr = sk.accept()
while True:
res = conn.recv(1024).decode('utf-8')
if res == 'bye':
break
else:
print(res)
info = input('请输入:\n>>>').encode('utf-8')
conn.send(info)
conn.close()
sk.close()
②client端
import socket
sk= socket.socket()
sk.connect(('127.0.0.1', 8088))
while True:
info = input('请输入:\n>>>').encode('utf-8')
sk.send(info)
res = sk.recv(1024).decode('utf-8')
if res == 'bye':
break
else:
print(res)
sk.close()
③对于Address already in use的情况,可以加入socket配置重用ip和端口
import socket
from socket import SOL_SOCKET,SO_REUSEADDR
sk = socket.socket()
sk.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind前加
sk.bind(('127.0.0.1',8898)) #把地址绑定到套接字
sk.listen() #监听链接
conn,addr = sk.accept() #接受客户端链接
ret = conn.recv(1024) #接收客户端信息
print(ret) #打印客户端信息
conn.send(b'hi') #向客户端发送信息
conn.close() #关闭客户端套接字
sk.close() #关闭服务器套接字(可选)
④一个服务端与多个客户端交互示例
- 服务端
import socket
sk = socket.socket()
sk.bind(('127.0.0.1', 8088))
# listen([backlog])中的[backlog]参数代表服务端允许多少客户端连接到服务端,即阻塞队列长度,所以一共能与服务器连接的客户端共有backlog+1个
sk.listen(3)
while True:
conn, addr = sk.accept() # sk.accept()放在循环内部是为了每次与同一个客户端交互结束后会重新建立conn连接,以便下一个客户端连入
res = conn.recv(1024).decode('utf-8')
if res == 'bye':
break
else:
print('收到',res)
info = input('请输入>>>').encode('utf-8')
conn.send(info)
conn.close() # 同上面sk.accept()的作用
sk.close()
- 客户端(可以多个客户端逐个与服务端进行通讯)
import socket
sk = socket.socket()
sk.connect(('127.0.0.1', 8088))
while True:
info = input('请输入>>>').encode('utf-8')
if info == 'bye':
break
else:
sk.send(info)
res = sk.recv(1024).decode('utf-8')
print(res)
sk.close()
2、基于UDP协议的socket:不可靠 无连接,效率高
①server端
import socket
ip_port=('127.0.0.1',9000)
BUFSIZE=1024
udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
udp_server_client.bind(ip_port)
while True:
msg,addr=udp_server_client.recvfrom(BUFSIZE)
print(msg,addr)
udp_server_client.sendto(msg.upper(),addr)
②client端
import socket
ip_port=('127.0.0.1',9000)
BUFSIZE=1024
udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
while True:
msg=input('>>: ').strip()
if not msg:continue
udp_server_client.sendto(msg.encode('utf-8'),ip_port)
back_msg,addr=udp_server_client.recvfrom(BUFSIZE)
print(back_msg.decode('utf-8'),addr)
③模拟QQ聊天
- server端
import socket
sk = socket.socket(type=socket.SOCK_DGRAM)
sk.bind(('127.0.0.1', 8888))
while True:
msg, addr = sk.recvfrom(1024)
print('消息地址:' + addr)
if msg.decode('utf-8') == 'bye':
break
else:
print(msg.decode('utf-8'))
info = input('>>>').encode('utf-8')
sk.sendto(info, addr)
sk.close()
- client端(可以多个客户端逐个与服务端进行通讯)
import socket
sk = socket.socket(type=socket.SOCK_DGRAM)
ip_port = ('127.0.0.1', 8888)
while True:
info = input('client:')
info = ('\033[33m来自client的消息 :%s\033[0m' % info).encode('utf-8')
sk.sendto(info, ip_port)
msg, addr = sk.recvfrom(1024)
if msg.decode('utf-8') == 'bye':
break
else:
print(msg.decode('utf-8'))
sk.close()
④客户端请求日期时间格式,服务器端接收到请求后发送至客户端
- server端
import socket
import time
sk = socket.socket(type=socket.SOCK_DGRAM)
sk.bind(('127.0.0.1',8888))
while True:
msg,addr = sk.recvfrom(1024)
if msg.decode('utf-8') == 'bye':
break
else:
print(msg.decode('utf-8'))
str_time = time.strftime(msg.decode('utf-8')).encode('utf-8')
sk.sendto(str_time,addr)
sk.close()
- client端
import socket
import time
sk = socket.socket(type=socket.SOCK_DGRAM)
while True:
format_type = input('请输入想要的格式(或者直接回车默认格式):>>>').strip()
if format_type.lower() == 'bye':
break
elif format_type:
sk.sendto(bytes(format_type,encoding='utf-8'),('127.0.0.1',8888))
else:
print('你没输入格式,那就默认啦!%Y-%m-%d %H-%M-%S')
sk.sendto(b'%Y-%m-%d %H-%M-%S',('127.0.0.1',8888))
msg, addr = sk.recvfrom(1024)
print(msg.decode('utf-8'))
sk.close()
3、黏包
①产生原因:粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的。
②特点:只有TCP有粘包现象,UDP永远不会粘包
③产生黏包的两种情况
- 发送数据时间间隔很短,数据了很小,会合到一起,产生粘包
- 服务端
from socket import *
ip_port=('127.0.0.1',8080)
tcp_socket_server=socket(AF_INET,SOCK_STREAM)
tcp_socket_server.bind(ip_port)
tcp_socket_server.listen(5)
conn,addr=tcp_socket_server.accept()
data1=conn.recv(10)
data2=conn.recv(10)
print('----->',data1.decode('utf-8'))
print('----->',data2.decode('utf-8'))
conn.close()
- 客户端
import socket
BUFSIZE=1024
ip_port=('127.0.0.1',8080)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(ip_port)
s.send('hello'.encode('utf-8'))
s.send('feng'.encode('utf-8'))
- 接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包)
- 服务端
from socket import *
ip_port=('127.0.0.1',8080)
tcp_socket_server=socket(AF_INET,SOCK_STREAM)
tcp_socket_server.bind(ip_port)
tcp_socket_server.listen(5)
conn,addr=tcp_socket_server.accept()
data1=conn.recv(2) #一次没有收完整
data2=conn.recv(10)#下次收的时候,会先取旧的数据,然后取新的
print('----->',data1.decode('utf-8'))
print('----->',data2.decode('utf-8'))
conn.close()
- 客户端
import socket
BUFSIZE=1024
ip_port=('127.0.0.1',8080)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(ip_port)
s.send('hello feng'.encode('utf-8'))
④黏包的解决方案
- 原理:问题的根源在于,接收端不知道发送端将要传送的字节流的长度,所以解决粘包的方法就是围绕,如何让发送端在发送数据前,把自己将要发送的字节流总大小让接收端知晓,然后接收端来一个死循环接收完所有数据。
- 简单粗暴版—直接告知客户端发送数据的长度(Server端)
import socket, subprocess
sk = socket.socket()
sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sk.bind(('localhost', 8070))
sk.listen()
while True:
conn, addr = sk.accept()
print('客户端:', addr)
while True:
msg = conn.recv(1024)
if not msg:
break
res_temp = subprocess.Popen(msg.decode('utf-8'), shell=True,
stdin=subprocess.PIPE,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
error = res_temp.stderr.read()
if error:
res = error
else:
res = res_temp.stdout.read()
date_len = len(res)
conn.send(str(date_len).encode('utf-8'))
data = conn.recv(1024).decode('utf-8')
if data == 'recv_ready':
conn.sendall()
conn.close()
- 简单粗暴版—直接告知客户端发送数据的长度(Client端)
import socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
res = s.connect_ex(('127.0.0.1', 8080))
while True:
msg = input('>>: ').strip()
if len(msg) == 0:
continue
if msg == 'quit':
break
s.send(msg.encode('utf-8'))
length = int(s.recv(1024).decode('utf-8'))
s.send('recv_ready'.encode('utf-8'))
send_size = 0
recv_size = 0
data = b''
while recv_size < length:
data += s.recv(1024)
recv_size += len(data)
print(data.decode('utf-8'))
- 进阶升级版—借助struct模块打包定制报头(Server端)
import socket, struct, json
import subprocess
sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # 就是它,在bind前加
sk.bind(('127.0.0.1', 8080))
sk.listen(5)
while True:
conn, addr = sk.accept()
while True:
cmd = conn.recv(1024)
if not cmd:
break
print('cmd: %s' % cmd)
res = subprocess.Popen(cmd.decode('utf-8'),
shell=True,
stdin=subprocess.PIPE,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
err = res.stderr.read()
print(err)
if err:
back_msg = err
else:
back_msg = res.stdout.read()
conn.send(struct.pack('i', len(back_msg))) # 先发back_msg的长度
conn.sendall(back_msg) # 在发真实的内容
conn.close()
- 进阶升级版—借助struct模块打包定制报头(Server端)
import socket, time, struct
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
res = s.connect_ex(('127.0.0.1', 8080))
while True:
msg = input('>>: ').strip()
if len(msg) == 0: continue
if msg == 'quit': break
s.send(msg.encode('utf-8'))
l = s.recv(4)
x = struct.unpack('i', l)[0]
print(type(x), x)
r_s = 0
data = b''
while r_s < x:
r_d = s.recv(1024)
data += r_d
r_s += len(r_d)
print(data.decode('gbk')) # windows默认gbk编码
- 自定义报头进阶:
- 将报头做成字典,字典里包含将要发送的真实数据的详细信息而后序列化,再用struck将序列化后的数据长度打包成4个字节
⑤网络传输大文件的解决方案(读取固定字节内容,避免全部读进内存使得内存占用过大)
- Server端
import json
import socket
import struct
sk = socket.socket()
sk.bind(('127.0.0.1',8090))
sk.listen()
buffer = 1024
conn,addr = sk.accept()
# 接收
head_len = conn.recv(4)
head_len = struct.unpack('i',head_len)[0]
json_head = conn.recv(head_len).decode('utf-8')
head = json.loads(json_head)
filesize = head['filesize']
with open(head['filename'],'wb') as f:
while filesize:
print(filesize)
if filesize >= buffer:
content = conn.recv(buffer)
f.write(content)
filesize -= len(content)
else:
content = conn.recv(filesize)
f.write(content)
break
conn.close()
sk.close()
- Client端
import os
import json
import struct
import socket
sk = socket.socket()
sk.connect(('127.0.0.1',8090))
buffer = 2048
# 发送文件
head = {'filepath':r'C:\Users\yg\Desktop',
'filename':r'02 python fullstack s9day32 基于udp的socket服务.mp4',
'filesize':None}
file_path = os.path.join(head['filepath'],head['filename'])
filesize = os.path.getsize(file_path)
head['filesize'] = filesize
json_head = json.dumps(head) # 字典转成了字符串
bytes_head = json_head.encode('utf-8') # 字符串转bytes
# 计算head的长度
head_len = len(bytes_head) # 报头的长度
pack_len = struct.pack('i',head_len)
sk.send(pack_len) # 先发报头的长度
sk.send(bytes_head) # 再发送bytes类型的报头
with open(file_path,'rb') as f:
while filesize:
print(filesize)
if filesize >= buffer:
content = f.read(buffer) # 每次读出来的内容
sk.send(content)
filesize -= len(content)
else:
content = f.read(filesize)
sk.send(content)
break
sk.close()
4、socket更多方法
①服务端套接字函数
s.bind() 绑定(主机,端口号)到套接字
s.listen() 开始TCP监听
s.accept() 被动接受TCP客户的连接,(阻塞式)等待连接的到来
②客户端套接字函数
s.connect() 主动初始化TCP服务器连接
s.connect_ex() connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
③公共用途的套接字函数
s.recv() 接收TCP数据
s.send() 发送TCP数据
s.sendall() 发送TCP数据
s.recvfrom() 接收UDP数据
s.sendto() 发送UDP数据
s.getpeername() 连接到当前套接字的远端的地址
s.getsockname() 当前套接字的地址
s.getsockopt() 返回指定套接字的参数
s.setsockopt() 设置指定套接字的参数
s.close() 关闭套接字
④面向锁的套接字方法
s.setblocking() 设置套接字的阻塞与非阻塞模式
s.settimeout() 设置阻塞套接字操作的超时时间
s.gettimeout() 得到阻塞套接字操作的超时时间
⑤面向文件的套接字的函数
s.fileno() 套接字的文件描述符
s.makefile() 创建一个与该套接字相关的文件
5、hmac模块—客户端链接合法性验证
①简介:
如果想在分布式系统中实现一个简单的客户端链接认证功能,又不像SSL那么复杂,则可以利用hmac+加盐的方式来实现
②链接合法性验证—举例
# Server端
import os, socket, hmac
secret_key = b'secretkey'
sk = socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM)
sk.bind(('localhost', 8889))
sk.listen()
def check_client(conn):
send_msg = os.urandom(32)
conn.send(send_msg)
h = hmac.new(secret_key, send_msg)
digest = h.digest()
client_digest = conn.recv(1024)
return hmac.compare_digest(digest, client_digest)
conn, addr = sk.accept()
is_legal = check_client(conn)
if is_legal:
print('合法客户端!')
conn.send(b'legal')
while True:
recv_msg = conn.recv(1024).decode('utf-8')
if recv_msg.lower() == 'q':
conn.send(b'q')
conn.close()
break
else:
print(recv_msg)
info = input('服务端>>>').strip()
if info:
conn.send(info.encode('utf-8'))
else:
print('非法客户端!')
conn.close()
sk.close()
#Client端
import socket, hmac
secret_key = b'secretkey'
sk = socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM)
sk.connect(('localhost', 8889))
msg = sk.recv(1024)
h = hmac.new(secret_key, msg)
digest = h.digest()
sk.send(digest)
is_legal = sk.recv(1024)
if is_legal == b'legal':
while True:
info = input('客户端>>>').strip()
if info:
sk.send(info.encode('utf-8'))
recv_msg = sk.recv(1024).decode('utf-8')
if recv_msg == 'q':
break
else:
print(recv_msg)
sk.close()
6、利用socketserver模块处理服务端与多客户端交互问题
①应用实例
#Server端
import socketserver
class MyServer(socketserver.BaseRequestHandler):
def handle(self):
while True:
recv_msg = self.request.recv(1024).decode('utf-8')
if recv_msg == 'q':
self.request.send(b'q')
break
else:
print(recv_msg)
info = input('服务端>>>').strip()
if info:
self.request.send(info.encode('utf-8'))
if __name__ == '__main__':
server = socketserver.ThreadingTCPServer(('localhost', 8889), MyServer)
server.allow_reuse_address = True
server.serve_forever()
#Client端
import socket
sk = socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM)
sk.connect(('localhost', 8889))
while True:
info = input('客户端>>>').strip()
if info == '':
continue
elif info == 'q':
sk.send(info.encode('utf-8'))
break
else:
sk.send(info.encode('utf-8'))
recv_msg = sk.recv(1024).decode('utf-8')
print(recv_msg)
sk.close()