网络编程
1、socket
socket通常也称作"套接字",用于描述IP地址和端口,是一个通信链的句柄,应用程序通常通过"套接字"向网络发出请求或者应答网络请求。
socket起源于Unix,而Unix/Linux基本哲学之一就是“一切皆文件”,对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现,socket即是一种特殊的文件,一些socket函数就是对其进行的操作(读/写IO、打开、关闭)
socket和file的区别:
-
file模块是针对某个指定文件进行【打开】【读写】【关闭】
-
socket模块是针对 服务器端 和 客户端Socket 进行【打开】【读写】【关闭】
# _*_ coding:utf-8 _*_
import socket
sk = socket.socket()
sk.bind(("127.0.0.1",9999))
sk.listen(5)
while True:
print('server waitting.....')
conn,addr = sk.accept()
client_data = conn.recv(1024) # 收到数据是字节对象形式,要显示中文需decode编码成中文形式
print(client_data.decode())
print("type:",type(client_data)) # type: <class 'bytes'>
conn.sendall("信息收到,信息收到!".encode()) # 发送中文字符,需encode编码成字节形式
conn.close()
# _*_ coding:utf-8 _*_
import socket
sk = socket.socket()
sk.connect(("127.0.0.1",9999))
sk.sendall('请求侵占地球'.encode())
server_reply = sk.recv(1024)
print(server_reply.decode())
sk.close()
python有两种类型转换的函数encode(),decode()
encode(编码)时,会将str类型编码为bytes对象类型。
decode(解码)时,会将bytes对象类型转换为str类型。
socket中recv发送的是字节类型,假如发送是中文或string(字符串格式),则需写成:'请求侵占地球'.encode(),即先将字符串格式encode成字节类型再发送,再在接收端经xxx.decode()解码回字符串格式。
另外,纯字符串格式有多种encode形式,如sk.sendall('dfsdfshdhdh'.encode())、sk.sendall(b'dfsdfshdhdh'),带中文的字符串则只有此种encode形式:sk.sendall('请求侵占地球'.encode())
1 #!/usr/bin/env python 2 #coding:utf-8 3 4 ######## WEB服务应用 ######## 5 6 import socket 7 8 def handle_request(client): 9 buf = client.recv(1024) 10 client.send("HTTP/1.1 200 OK\r\n\r\n") 11 client.send("Hello, World") 12 13 def main(): 14 sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 15 sock.bind(('localhost',8080)) 16 sock.listen(5) 17 18 while True: 19 connection, address = sock.accept() 20 handle_request(connection) 21 connection.close() 22 23 if __name__ == '__main__': 24 main()
更多功能:
sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0) 参数一:地址簇 socket.AF_INET IPv4(默认) socket.AF_INET6 IPv6 socket.AF_UNIX 只能够用于单一的Unix系统进程间通信 参数二:类型 socket.SOCK_STREAM 流式socket , for TCP (默认) socket.SOCK_DGRAM 数据报式socket , for UDP socket.SOCK_RAW 原始套接字,普通的套接字无法处理ICMP、IGMP等网络报文,而SOCK_RAW可以;其次,SOCK_RAW也可以处理特殊的IPv4报文;此外,利用原始套接字,可以通过IP_HDRINCL套接字选项由用户构造IP头。 socket.SOCK_RDM 是一种可靠的UDP形式,即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问,在需要执行某些特殊操作时使用,如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。 socket.SOCK_SEQPACKET 可靠的连续数据包服务 参数三:协议 0 (默认)与特定的地址家族相关的协议,如果是 0 ,则系统就会根据地址格式和套接类别,自动选择一个合适的协议
sk.bind(address)
s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下,以元组(host,port)的形式表示地址。
sk.listen(backlog)
开始监听传入连接。backlog指定在拒绝连接之前,可以挂起的最大连接数量。
backlog等于5,表示内核已经接到了连接请求,但服务器还没有调用accept进行处理的连接个数最大为5
这个值不能无限大,因为要在内核中维护连接队列
sk.setblocking(bool)
是否阻塞(默认True),如果设置False,那么accept和recv时一旦无数据,则报错。
sk.accept()
接受连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。
接收TCP 客户的连接(阻塞式)等待连接的到来
sk.connect(address)
连接到address处的套接字。一般,address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。
sk.connect_ex(address)
同上,只不过会有返回值,连接成功时返回 0 ,连接失败时候返回编码,例如:10061
sk.close()
关闭套接字
sk.recv(bufsize[,flag])
接受套接字的数据。数据以字符串形式返回,bufsize指定最多可以接收的数量。flag提供有关消息的其他信息,通常可以忽略。
sk.recvfrom(bufsize[.flag])
与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。
sk.send(string[,flag])
将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。即:可能未将指定内容全部发送。
sk.sendall(string[,flag])
将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。
内部通过递归调用send,将所有内容发送出去。
sk.sendto(string[,flag],address)
将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
sk.settimeout(timeout)
设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如 client 连接最多等待5s )
sk.getpeername()
返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。
sk.getsockname()
返回套接字自己的地址。通常是一个元组(ipaddr,port)
sk.fileno()
套接字的文件描述符
######## server_shh ######## 1 import socket ,os 2 server = socket.socket() #创建socket对象 3 server.bind(('localhost',9999) ) #绑定ip和port 4 server.listen() #开始监听 5 6 while True: 7 conn, addr = server.accept() #阻塞 等待连接 8 print("new conn:",addr) 9 while True: 10 print("等待新指令") 11 data = conn.recv(1024) #接收客户端发过来的命令 12 if not data: 13 break 14 print("执行指令:",data) 15 cmd_res = os.popen(data.decode()).read() #执行客户端发过来的命令,返回信息长度(接收字符串,执行结果也是字符串) 16 print("before send",len(cmd_res)) #信息的长度 17 if len(cmd_res) ==0: 18 cmd_res = "cmd has no output..." 19 20 conn.send( str(len(cmd_res.encode())).encode("utf-8") ) #先发命令执行的结果信息大小给客户端 21 client_ack = conn.recv(1024) #防止粘包,客户端ack 22 conn.send(cmd_res.encode("utf-8")) #发送信息 23 print("send done") 24 25 server.close()
######## client_ssh ######## 1 import socket 2 client = socket.socket() 3 client.connect(('localhost',9999)) 4 5 while True: 6 cmd = input(">>:").strip() #输入命令 7 if len(cmd) == 0: continue 8 client.send(cmd.encode("utf-8")) #发送命令给server端 9 cmd_res_size = client.recv(1024) #接受server端发过来的命令结果信息长度 10 print("命令结果大小:",cmd_res_size) 11 client.send("准备接受".encode('utf-8')) #防止粘包 12 received_size = 0 #已经接受数据的大小 13 received_data = b'' 14 while received_size < int(cmd_res_size.decode()): 15 data = client.recv(1024) #只要小于,就一直接收 16 received_size += len(data) #每次收到的有可能小于1024,所以 17 必须用len判断 18 #print(data.decode()) 19 received_data += data 20 else: 21 print("cmd res receive done...",received_size) 22 print(received_data.decode()) 23 24 25 client.close()
ftp传文件
""" ftp传文件,server端: 1.读取客户端指令(读取文件名) 2.判断文件是否存在 3.打开文件 4.检测文件大小 5.发送文件大小给客户端 6.等客户端确认可以接收 7.开始边读边发送数据,同时更新MD5值 8.数据发送完毕,发送md5值,让客户端校验,判断客户端和服务端的一致性! """ ########################### md5_server_ftp ############################## import hashlib import socket,os,time sk = socket.socket() sk.bind(('127.0.0.1',8889)) sk.listen() while True: conn,addr = sk.accept() # 等待客户端连接 print("new conn:",addr) while True: data = conn.recv(1024) #接收数据,cmd命令+操作文件名 if not data: print("没有数据,客户端已断开") break cmd , filename = data.decode().split() #数据以字节形式发送,需decode编码成str类型 print(filename) if os.path.isfile(filename): # 判断文件是否存在 f = open(filename,"rb") m = hashlib.md5() file_size = os.stat(filename).st_size conn.send(str(file_size).encode()) # file_size是int类型,需先转str类型再encode成字节形式发送 conn.recv(1024) # 阻塞,等待客户端确认,防止发生粘包 for line in f: # 发送数据 m.update(line) # 不断更新计算md5值 conn.send(line) f.close() print("file md5:", m.hexdigest()) conn.recv(1024) # 等待客户确认数据发送完毕,防止发生粘包,准备发送md5值 conn.send(m.hexdigest().encode()) # 发送MD5值给客户端 print("send done") # else: # print("文件不存在") server.close()
""" ftp传文件,client端: 1.给服务端发送指令(get+文件名) 2.接收服务端发来数据(文件大小) 3.接收数据,同时更新MD5值 4.数据接收完毕,接收服务端发来的MD5值 5.客户端MD5值与服务端MD5值校验,若一致,则正常 """ ############## md5_client_ftp ################# import socket import hashlib cli = socket.socket() cli.connect(('127.0.0.1',8889)) while True: cmd = input(">>>:").strip() if len(cmd) == 0: continue if cmd.startswith("get"): print("输入操作指令:",cmd) cli.send(cmd.encode()) # 转成字节形式发送,在服务端再转换成str类型 server_response_size = cli.recv(1024) print("server response size:",server_response_size) cli.send(b"ready to recv file") # 告知服务端,准备好接收数据 file_size = int(server_response_size.decode()) received_size = 0 filename = cmd.split()[1] f = open(filename + ".new" , "wb") m = hashlib.md5() while received_size < file_size: # 接收数据ing... if file_size - received_size > 1024: # 要接收不止一次 size = 1024 else: #最后一次,剩多少接收多少 size = file_size - received_size data = cli.recv(size) received_size += len(data) m.update(data) f.write(data) print(file_size , received_size) f.close() cli.send(b"ready to recv md5") # 数据接收完毕,接收md5值 server_md5_value = cli.recv(1024) # 服务端md5值 client_md5_value = m.hexdigest() # 客户端md5值 print("server_md5:%s, client_md5:%s"%(server_md5_value,client_md5_value)) if client_md5_value == server_md5_value.decode(): # 一致 print("file revived done") else: print("Error!!!") print(client_md5_value , server_md5_value) client.close()
2、I/O多路复用
I/O多路复用指:通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。
Linux
Linux中的 select,poll,epoll 都是IO多路复用的机制。
select select最早于1983年出现在4.2BSD中,它通过一个select()系统调用来监视多个文件描述符的数组,当select()返回后,该数组中就绪的文件描述符便会被内核修改标志位,使得进程可以获得这些文件描述符从而进行后续的读写操作。 select目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实上从现在看来,这也是它所剩不多的优点之一。 select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制,在Linux上一般为1024,不过可以通过修改宏定义甚至重新编译内核的方式提升这一限制。 另外,select()所维护的存储大量文件描述符的数据结构,随着文件描述符数量的增大,其复制的开销也线性增长。同时,由于网络响应时间的延迟使得大量TCP连接处于非活跃状态,但调用select()会对所有socket进行一次线性扫描,所以这也浪费了一定的开销。 poll poll在1986年诞生于System V Release 3,它和select在本质上没有多大差别,但是poll没有最大文件描述符数量的限制。 poll和select同样存在一个缺点就是,包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间,而不论这些文件描述符是否就绪,它的开销随着文件描述符数量的增加而线性增大。 另外,select()和poll()将就绪的文件描述符告诉进程后,如果进程没有对其进行IO操作,那么下次调用select()和poll()的时候将再次报告这些文件描述符,所以它们一般不会丢失就绪的消息,这种方式称为水平触发(Level Triggered)。 epoll 直到Linux2.6才出现了由内核直接支持的实现方法,那就是epoll,它几乎具备了之前所说的一切优点,被公认为Linux2.6下性能最好的多路I/O就绪通知方法。 epoll可以同时支持水平触发和边缘触发(Edge Triggered,只告诉进程哪些文件描述符刚刚变为就绪状态,它只说一遍,如果我们没有采取行动,那么它将不会再次告知,这种方式称为边缘触发),理论上边缘触发的性能要更高一些,但是代码实现相当复杂。 epoll同样只告知那些就绪的文件描述符,而且当我们调用epoll_wait()获得就绪文件描述符时,返回的不是实际的描述符,而是一个代表就绪描述符数量的值,你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里也使用了内存映射(mmap)技术,这样便彻底省掉了这些文件描述符在系统调用时复制的开销。 另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中,进程只有在调用一定的方法后,内核才对所有监视的文件描述符进行扫描,而epoll事先通过epoll_ctl()来注册一个文件描述符,一旦基于某个文件描述符就绪时,内核会采用类似callback的回调机制,迅速激活这个文件描述符,当进程调用epoll_wait()时便得到通知。
Python
Python中有一个select模块,其中提供了:select、poll、epoll三个方法,分别调用系统的 select,poll,epoll 从而实现IO多路复用。
Windows Python:
提供: select
Mac Python:
提供: select
Linux Python:
提供: select、poll、epoll
注意:网络操作、文件操作、终端操作等均属于IO操作,对于windows只支持Socket操作,其他系统支持其他IO操作,但是无法检测 普通文件操作 自动上次读取是否已经变化。
select方法:
句柄列表1, 句柄列表2, 句柄列表3 = select.select(句柄序列1, 句柄序列2, 句柄序列3, 超时时间) 参数: 可接受四个参数(前三个必须) 返回值:三个列表 select方法用来监视文件句柄,如果句柄发生变化,则获取该句柄。 1、当 参数1 序列中的句柄发生可读时(accetp和read),则获取发生变化的句柄并添加到 返回值1 序列中 2、当 参数2 序列中含有句柄时,则将该序列中所有的句柄添加到 返回值2 序列中 3、当 参数3 序列中的句柄发生错误时,则将该发生错误的句柄添加到 返回值3 序列中 4、当 超时时间 未设置,则select会一直阻塞,直到监听的句柄发生变化 当 超时时间 = 1时,那么如果监听的句柄均无任何变化,则select会阻塞 1 秒,之后返回三个空列表,如果监听的句柄有变化,则直接执行。
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import select 5 import threading 6 import sys 7 8 while True: 9 readable, writeable, error = select.select([sys.stdin,],[],[],1) 10 if sys.stdin in readable: 11 print 'select get stdin',sys.stdin.readline()
#!/usr/bin/env python # -*- coding:utf-8 -*-
############### 利用select实现伪同时处理多个socket客户端请求:服务端 ###############
import socket import select sk1 = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sk1.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) sk1.bind(('127.0.0.1',8002)) sk1.listen(5) sk1.setblocking(0) # setblocking(False)不阻塞 inputs = [sk1,] while True: readable_list, writeable_list, error_list = select.select(inputs, [], inputs, 1) for r in readable_list: # 当客户端第一次连接服务端时,inputs将sk1添加到readable_list中 if r == sk1: print 'accept' conn, address = r.accept() conn.setblocking(0) # 不阻塞 inputs.append(conn) # 此时inputs中有句柄:服务端(sk1),客户端(conn) # 当客户端连接上服务端之后,再次发送数据时 else: # 不是sk1,就是conn,表示再次连接 received = r.recv(1024) # 当正常接收客户端发送的数据时 if received: print 'received data:', received # 当客户端关闭程序时,移除(conn)客户端句柄 else: inputs.remove(r) sk1.close()
#!/usr/bin/env python # -*- coding:utf-8 -*- ############# 利用select实现伪同时处理多个socket客户端请求:客户端 ################ import socket ip_port = ('127.0.0.1',8002) sk = socket.socket() sk.connect(ip_port) while True: inp = raw_input('please input:') sk.sendall(inp) sk.close()
注:此处的Socket服务端相比与原生的Socket,他支持当某一个请求不再发送数据时,服务器端不会等待而是可以去处理其他请求的数据。但是,如果每个请求的耗时比较长时,select版本的服务器端也无法完成同时操作。
select异步IO
select 多并发socket 例子
![](https://i-blog.csdnimg.cn/blog_migrate/8f900a89c6347c561fdf2122f13be562.gif)
![](https://i-blog.csdnimg.cn/blog_migrate/961ddebeb323a10fe0623af514929fc1.gif)
#_*_coding:utf-8_*_ __author__ = 'Alex Li' import select import socket import sys import queue server = socket.socket() server.setblocking(0) server_addr = ('localhost',10000) print('starting up on %s port %s' % server_addr) server.bind(server_addr) server.listen(5) inputs = [server, ] #自己也要监测呀,因为server本身也是个fd outputs = [] message_queues = {} while True: print("waiting for next event...") readable, writeable, exeptional = select.select(inputs,outputs,inputs) #如果没有任何fd就绪,那程序就会一直阻塞在这里 for s in readable: #每个s就是一个socket if s is server: #别忘记,上面我们server自己也当做一个fd放在了inputs列表里,传给了select,如果这个s是server,代表server这个fd就绪了, #就是有活动了, 什么情况下它才有活动? 当然 是有新连接进来的时候 呀 #新连接进来了,接受这个连接 conn, client_addr = s.accept() print("new connection from",client_addr) conn.setblocking(0) inputs.append(conn) #为了不阻塞整个程序,我们不会立刻在这里开始接收客户端发来的数据, 把它放到inputs里, 下一次loop时,这个新连接 #就会被交给select去监听,如果这个连接的客户端发来了数据 ,那这个连接的fd在server端就会变成就续的,select就会把这个连接返回,返回到 #readable 列表里,然后你就可以loop readable列表,取出这个连接,开始接收数据了, 下面就是这么干 的 message_queues[conn] = queue.Queue() #接收到客户端的数据后,不立刻返回 ,暂存在队列里,以后发送 else: #s不是server的话,那就只能是一个 与客户端建立的连接的fd了 #客户端的数据过来了,在这接收 data = s.recv(1024) if data: print("收到来自[%s]的数据:" % s.getpeername()[0], data) message_queues[s].put(data) #收到的数据先放到queue里,一会返回给客户端 if s not in outputs: outputs.append(s) #为了不影响处理与其它客户端的连接 , 这里不立刻返回数据给客户端 else:#如果收不到data代表什么呢? 代表客户端断开了呀 print("客户端断开了",s) if s in outputs: outputs.remove(s) #清理已断开的连接 inputs.remove(s) #清理已断开的连接 del message_queues[s] ##清理已断开的连接 for s in writeable: try :#queue.get():获得队列数据,当队列为空,阻塞; #get_nowait():获得队列数据,不等待不阻塞,当队列为空,抛出异常,用try…finally…捕获异常执行 next_msg = message_queues[s].get_nowait() except queue.Empty: print("client [%s]" %s.getpeername()[0], "queue is empty..") outputs.remove(s) else: print("sending msg to [%s]"%s.getpeername()[0], next_msg) s.send(next_msg.upper()) for s in exeptional: # 异常 print("handling exception for ",s.getpeername()) inputs.remove(s) if s in outputs: outputs.remove(s) s.close() del message_queues[s] server端运行结果: F:\python\untitled\venv\Scripts\python.exe F:/python/untitled/ser.py starting up on localhost port 10000 waiting for next event... new connection from ('127.0.0.1', 60715) waiting for next event... new connection from ('127.0.0.1', 60716) waiting for next event... 收到来自[127.0.0.1]的数据: b'This is the message. ' waiting for next event... 收到来自[127.0.0.1]的数据: b'This is the message. ' sending msg to [127.0.0.1] b'This is the message. ' waiting for next event... client [127.0.0.1] queue is empty.. sending msg to [127.0.0.1] b'This is the message. ' waiting for next event... client [127.0.0.1] queue is empty.. waiting for next event... 收到来自[127.0.0.1]的数据: b'It will be sent ' waiting for next event... sending msg to [127.0.0.1] b'It will be sent ' waiting for next event... 收到来自[127.0.0.1]的数据: b'It will be sent ' client [127.0.0.1] queue is empty.. waiting for next event... sending msg to [127.0.0.1] b'It will be sent ' waiting for next event... client [127.0.0.1] queue is empty.. waiting for next event... 收到来自[127.0.0.1]的数据: b'in parts.' waiting for next event... sending msg to [127.0.0.1] b'in parts.' waiting for next event... 收到来自[127.0.0.1]的数据: b'in parts.' client [127.0.0.1] queue is empty.. waiting for next event... sending msg to [127.0.0.1] b'in parts.' waiting for next event... client [127.0.0.1] queue is empty.. waiting for next event... 客户端断开了 <socket.socket fd=344, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 10000), raddr=('127.0.0.1', 60715)> waiting for next event... 客户端断开了 <socket.socket fd=352, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 10000), raddr=('127.0.0.1', 60716)> waiting for next event...
![](https://i-blog.csdnimg.cn/blog_migrate/8f900a89c6347c561fdf2122f13be562.gif)
![](https://i-blog.csdnimg.cn/blog_migrate/961ddebeb323a10fe0623af514929fc1.gif)
#_*_coding:utf-8_*_ __author__ = 'Alex Li' import socket import sys # 三条数据伪并发 messages = [ b'This is the message. ', b'It will be sent ', b'in parts.', ] server_address = ('localhost', 10000) # 模拟两个客户端socket socks = [ socket.socket(socket.AF_INET, socket.SOCK_STREAM), socket.socket(socket.AF_INET, socket.SOCK_STREAM), ] # Connect the socket to the port where the server is listening print('connecting to %s port %s' % server_address) for s in socks: s.connect(server_address) for message in messages: # Send messages on both sockets for s in socks: print('%s: sending "%s"' % (s.getsockname(), message) ) s.send(message) # Read responses on both sockets for s in socks: data = s.recv(1024) print( '%s: received "%s"' % (s.getsockname(), data) ) if not data: print(sys.stderr, 'closing socket', s.getsockname() ) client端运行结果: F:\python\untitled\venv\Scripts\python.exe F:/python/untitled/cli.py connecting to localhost port 10000 ('127.0.0.1', 60715): sending "b'This is the message. '" ('127.0.0.1', 60716): sending "b'This is the message. '" ('127.0.0.1', 60715): received "b'THIS IS THE MESSAGE. '" ('127.0.0.1', 60716): received "b'THIS IS THE MESSAGE. '" ('127.0.0.1', 60715): sending "b'It will be sent '" ('127.0.0.1', 60716): sending "b'It will be sent '" ('127.0.0.1', 60715): received "b'IT WILL BE SENT '" ('127.0.0.1', 60716): received "b'IT WILL BE SENT '" ('127.0.0.1', 60715): sending "b'in parts.'" ('127.0.0.1', 60716): sending "b'in parts.'" ('127.0.0.1', 60715): received "b'IN PARTS.'" ('127.0.0.1', 60716): received "b'IN PARTS.'" Process finished with exit code 0
3、socketServer模块
SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ,从而实现并发处理多个客户端请求的Socket服务端。即:每个客户端请求连接到服务器时,Socket服务端都会在服务器是创建一个“线程”或者“进程” 专门负责处理当前客户端的所有请求。
ThreadingTCPServer
ThreadingTCPServer实现的Soket服务器内部会为每个client创建一个 “线程”,该线程用来和客户端进行交互。
使用ThreadingTCPServer:
- 创建一个继承自 SocketServer.BaseRequestHandler 的类
- 类中必须定义一个名称为 handle 的方法
- 启动ThreadingTCPServer
#!/usr/bin/env python # -*- coding:utf-8 -*- import SocketServer class MyServer(SocketServer.BaseRequestHandler): def handle(self): # print self.request,self.client_address,self.server conn = self.request conn.sendall('欢迎致电 10086,请输入1xxx,0转人工服务.') Flag = True while Flag: data = conn.recv(1024) if data == 'exit': Flag = False elif data == '0': conn.sendall('通过可能会被录音.balabala一大推') else: conn.sendall('请重新输入.') if __name__ == '__main__': server = SocketServer.ThreadingTCPServer(('127.0.0.1',8009),MyServer) server.serve_forever()
#!/usr/bin/env python # -*- coding:utf-8 -*- import socket ip_port = ('127.0.0.1',8009) sk = socket.socket() sk.connect(ip_port) sk.settimeout(5) while True: data = sk.recv(1024) print 'receive:',data inp = raw_input('please input:') sk.sendall(inp) if inp == 'exit': break sk.close()
4、IO多路复用的 selectors模块
selectors基于select模块实现IO多路复用,调用语句selectors.DefaultSelector()
,特点是根据平台自动选择最佳IO多路复用机制,调用顺序:epoll > poll > select
做一个socket servers:
1 import selectors 2 import socket 3 sel = selectors.DefaultSelector() # 根据平台自动选择最佳IO多路复用机制 4 5 def accept(sock, mask): 6 conn, addr = sock.accept() # Should be ready 7 # print('accepted', conn, 'from', addr,mask) 8 conn.setblocking(False) #设置为非阻塞IO 9 sel.register(conn, selectors.EVENT_READ, read) 10 #新连接注册read回调函数 11 #将conn和read函数注册到一起,当conn有变化时执行read函数 12 13 def read(conn, mask): 14 data = conn.recv(1024) # Should be ready 15 if data: 16 print('echoing', repr(data), 'to', conn) 17 conn.send(data) # Hope it won't block 18 else: 19 print('closing', conn) 20 sel.unregister(conn) 21 conn.close() 22 23 sock = socket.socket() 24 sock.bind(('localhost', 9999)) 25 sock.listen(100) 26 sock.setblocking(False) #设置为非阻塞IO 27 sel.register(sock, selectors.EVENT_READ, accept) 28 # 将sock和accept函数注册到一起,当sock有变化时(即连上)执行accept函数 29 30 while True: 31 events = sel.select() #默认阻塞,有活动连接就返回活动的连接列表,监听[(key1,mask1),(key2),(mask2)] 32 33 for key, mask in events: 34 callback = key.data #accept #第一次 key.data就是accept # 第二次 key.data是read 35 callback(key.fileobj, mask) #key.fileobj= 文件句柄 36 # 第一次 key.fileobj就是sock # 第二次 key.fileobj是conn
1 import socket 2 import sys 3 4 messages = [ b'This is the message. ', 5 b'It will be sent ', 6 b'in parts.', 7 ] 8 server_address = ('localhost', 9999) 9 10 # Create a TCP/IP socket 11 socks = [ socket.socket(socket.AF_INET, socket.SOCK_STREAM) for i in range(5)] 12 print(socks) 13 # Connect the socket to the port where the server is listening 14 print('connecting to %s port %s' % server_address) 15 for s in socks: 16 s.connect(server_address) 17 18 for message in messages: 19 20 # Send messages on both sockets 21 for s in socks: 22 print('%s: sending "%s"' % (s.getsockname(), message) ) 23 s.send(message) 24 25 # Read responses on both sockets 26 for s in socks: 27 data = s.recv(1024) 28 print( '%s: received "%s"' % (s.getsockname(), data) ) 29 if not data: 30 print( 'closing socket', s.getsockname() )