python socketserver 并发量上不去_python学习37——socketserver模块实现并发

socketserver实现并发

基于tcp的套接字，关键就是两个循环，一个链接循环，一个通信循环

socketserver模块中分两大类：server类(解决链接问题)和request类(解决通信问题)

server类：

request类：

继承关系:

以下述代码为例，分析socketserver源码：

ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)

ftpserver.serve_forever()

查找属性的顺序：ThreadingTCPServer->ThreadingMixIn->TCPServer->BaseServer

实例化得到ftpserver，先找类ThreadingTCPServer的init,在TCPServer中找到，进而执行server_bind,server_active

找ftpserver下的serve_forever,在BaseServer中找到，进而执行self._handle_request_noblock()，该方法同样是在BaseServer中

执行self._handle_request_noblock()进而执行request, client_address = self.get_request()(就是TCPServer中的self.socket.accept())，然后执行self.process_request(request, client_address)

在ThreadingMixIn中找到process_request，开启多线程应对并发，进而执行process_request_thread，执行self.finish_request(request, client_address)

上述四部分完成了链接循环，本部分开始进入处理通讯部分，在BaseServer中找到finish_request,触发我们自己定义的类的实例化，去找init方法，而我们自己定义的类没有该方法，则去它的父类也就是BaseRequestHandler中找....

源码分析总结：

基于tcp的socketserver我们自己定义的类中的

self.server即套接字对象

self.request即一个链接

self.client_address即客户端地址

基于udp的socketserver我们自己定义的类中的

self.request是一个元组(第一个元素是客户端发来的数据，第二部分是服务端的udp套接字对象)，如(b'adsf', )

self.client_address即客户端地址

FtpServer

import socketserver

import struct

import json

import os

class FtpServer(socketserver.BaseRequestHandler):

coding='utf-8'

server_dir='file_upload'

max_packet_size=1024

BASE_DIR=os.path.dirname(os.path.abspath(__file__))

def handle(self):

print(self.request)

while True:

data=self.request.recv(4)

data_len=struct.unpack('i',data)[0]

head_json=self.request.recv(data_len).decode(self.coding)

head_dic=json.loads(head_json)

# print(head_dic)

cmd=head_dic['cmd']

if hasattr(self,cmd):

func=getattr(self,cmd)

func(head_dic)

def put(self,args):

file_path = os.path.normpath(os.path.join(

self.BASE_DIR,

self.server_dir,

args['filename']

))

filesize = args['filesize']

recv_size = 0

print('----->', file_path)

with open(file_path, 'wb') as f:

while recv_size < filesize:

recv_data = self.request.recv(self.max_packet_size)

f.write(recv_data)

recv_size += len(recv_data)

print('recvsize:%sfilesize:%s' % (recv_size, filesize))

ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)

ftpserver.serve_forever