python学习笔记08-- socket编程

本节内容：

　　一、网络基础知识

　　二、socket概念及相关语法

　　　　2.1socket概念
　　　　2.2socket解释
　　　　2.3socket模块功能介绍
　　　　2.4socket粘包问题
　　　　2.5Socket多并发

 

 

 

一、网络基础知识

1、OSI七层模型（具体自己百度）

2、TCP/IP四层参考模型（具体自己百度）

 

他们的对应网络协议如下：协议

今天我们说的socket就在传输层：TCP/IP三次握手建立连接

 

 

客户／服务器架构

服务器是一个软件或硬件，用于提供客户需要的“服务”。服务器存在的唯一目的就是等待客户的请求，给这些客户服务，然后再等待其它的请求。另一方面，客户连上一个（预先已知的）服务器，提出自己的请求， 发送必要的数据，然后就等待服务器的完成请求或说明失败原因的反馈。服务器不停地处理外来的请求，而客户一次只能提出一个服务的请求，等待结果。然后结束这个事务。客户之后也可以再提出其它的请求，只是，这个请求会被视为另一个不同的事务了。

 

二、socket概念及相关语法

socket是TCP/IP中传输层中TCP、UDP的实现方式，用socket编程，可以实现TCP UDP的通信。有一个比较好的比喻方式：socket就是一条管子，连接两段，而TCP、UDP就是管子中的东西

2.1socket概念

socket本质上就是在2台网络互通的电脑之间，架设一个通道，两台电脑通过这个通道来实现数据的互相传递。 我们知道网络 通信 都 是基于 ip+port 方能定位到目标的具体机器上的具体服务，操作系统有0-65535个端口，每个端口都可以独立对外提供服务，如果 把一个公司比做一台电脑 ，那公司的总机号码就相当于ip地址， 每个员工的分机号就相当于端口， 你想找公司某个人，必须 先打电话到总机，然后再转分机 。

建立一个socket必须至少有2端， 一个服务端，一个客户端， 服务端被动等待并接收请求，客户端主动发起请求， 连接建立之后，双方可以互发数据

来看个socket的传递模式:

 

2.2socket解释

socket通常也称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄，应用程序通常通过"套接字"向网络发出请求或者应答网络请求。

socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭）

socket和file的区别：

• file模块是针对某个指定文件进行【打开】【读写】【关闭】
• socket模块是针对 服务器端 和 客户端Socket 进行【打开】【读写】【关闭】

 

我们来看一个简单的socket通信程序：

 1 #服务器端
 2 
 3 import socket
 4 server = socket.socket()
 5 server.bind(('localhost',6969)) #绑定要监听端口
 6 server.listen(5) #监听
 7 
 8 print("我要开始等电话了")
 9 while True:
10     conn, addr = server.accept()  # 等电话打进来
11     # conn就是客户端连过来而在服务器端为其生成的一个连接实例
12     print(conn, addr)
13     print("电话来了")
14     count = 0
15     while True:
16         data = conn.recv(1024)
17         print("recv:",data)
18         if not data:
19             print("client has lost...")
20             break
21         conn.send(data.upper())
22         count+=1
23         if count >10:break
24 
25 server.close()

服务器端

 1 #客户端
 2 import socket
 3 
 4 client = socket.socket() #声明socket类型，同时生成socket连接对象
 5 client.connect(('localhost',6969))
 6 
 7 while True:
 8     msg = input(">>:").strip()
 9     if len(msg) == 0:continue
10     client.send(msg.encode("utf-8"))
11     data = client.recv(1024)
12     print("recv:",data.decode())
13 
14 client.close()

客户端

 1 import socket
 2 
 3 ip_port = ('127.0.0.1',9999)
 4 
 5 sk = socket.socket()
 6 sk.bind(ip_port)
 7 sk.listen(5)
 8 
 9 while True:
10     print 'server waiting...'
11     conn,addr = sk.accept()
12 
13     client_data = conn.recv(1024)
14     print client_data
15     conn.sendall('不要回答,不要回答,不要回答')
16 
17     conn.close()

socket server

 1 #!/usr/bin/env python
 2 # -*- coding:utf-8 -*-
 3 import socket
 4 ip_port = ('127.0.0.1',9999)
 5 
 6 sk = socket.socket()
 7 sk.connect(ip_port)
 8 
 9 sk.sendall('请求占领地球')
10 
11 server_reply = sk.recv(1024)
12 print server_reply
13 
14 sk.close()

socket client

server端:

 1 import socket
 2 
 3 ip_port=('127.0.0.1',9008)  
 4 
 5 s=socket.socket()   #创建对象
 6 
 7 s.bind(ip_port)     #bind一个IP地址和短裤哦
 8 
 9 s.listen(2)         #开始监听
10 
11 while True:
12     print('server waiting...')
13     conn,addr=s.accept()        #接受连接并返回(conn,addr),其中conn是新的套接字对象,用来接受也发送数据,addr是连接客户端的地址,此时是阻塞状态
14 
15     client_data=conn.recv(1024) #接受套接字的数据,1024是最多可以接受的数量
16     print(client_data.decode().upper())     #bytes格式可以使用decode()解码
17 
18     conn.sendall(bytes('fuck XXXXX',encoding='utf8'))       #发送数据,注意python3中发送必须是bytes格式的
19 
20     conn.close()     #关闭套接字

client端:

1 import socket
2 ip_port=('127.0.0.1',9008)
3 
4 sk=socket.socket()  #创建套接字对象
5 sk.connect(ip_port)  #客户端直接连接IP和端口
6 sk.sendall(bytes('hello,world!!!',encoding='utf8'))     #发送数据,必须转换为字节再发送
7 rep=sk.recv(1024)   #阻塞状态,接受数据,大小为1024
8 print(rep.decode().upper()) #打印,并解码,将结果大写
9 sk.close()  #关闭套接字

可以看出来,客户端只需创建类,连接,直接发送接收即可;而服务端需要创建对象,绑定IP端口,监听,开始接受并返回,并且接受到的内容为(新的套接字对象,客户端地址),进行数据交换的是新的套接字对象,并不是刚开始创建的套接字对象,切记,切记!!!!

 

2.3socket模块功能介绍

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)

参数一解释：socket.AF_INET:地址簇

socket.AF_INET IPv4（默认）

socket.AF_INET6 IPv6

socket.AF_UNIX 只能够用于单一的Unix系统进程间通信

参数二解释：socket.SOCK_STREAM:类型

socket.SOCK_STREAM　　流式socket , for TCP （默认）

socket.SOCK_DGRAM　　 数据报式socket , for UDP

socket.SOCK_RAW 原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。

socket.SOCK_RDM 是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在需要执行某些特殊操作时使用，如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。

socket.SOCK_SEQPACKET 可靠的连续数据包服务

参数三解释：0:协议

0　　（默认）与特定的地址家族相关的协议,如果是 0 ，则系统就会根据地址格式和套接类别,自动选择一个合适的协议

 1 import socket
 2 ip_port = ('127.0.0.1',9999)
 3 sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
 4 sk.bind(ip_port)
 5 
 6 while True:
 7     data = sk.recv(1024)
 8     print data
 9 
10 
11 
12 
13 import socket
14 ip_port = ('127.0.0.1',9999)
15 
16 sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
17 while True:
18     inp = raw_input('数据：').strip()
19     if inp == 'exit':
20         break
21     sk.sendto(inp,ip_port)
22 
23 sk.close()

UDP Demo

 

更多

sk.bind(address)

　　s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。

sk.listen(backlog)

　　开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。

      backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
      这个值不能无限大，因为要在内核中维护连接队列

sk.setblocking(bool)

　　是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。

sk.accept()

　　接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。

　　接收TCP 客户的连接（阻塞式）等待连接的到来

sk.connect(address)

　　连接到address处的套接字。一般，address的格式为元组（hostname,port）,如果连接出错，返回socket.error错误。

sk.connect_ex(address)

　　同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061

sk.close()

　　关闭套接字

sk.recv(bufsize[,flag])

　　接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。

sk.recvfrom(bufsize[.flag])

　　与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。

sk.send(string[,flag])

　　将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。

sk.sendall(string[,flag])

　　将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。

      内部通过递归调用send，将所有内容发送出去。

sk.sendto(string[,flag],address)

　　将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)

　　设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）

sk.getpeername()

　　返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。

sk.getsockname()

　　返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()

　　套接字的文件描述符

socket.sendfile(file, offset=0, count=None)

     发送文件 ，但目前多数情况下并用不到。

 

实例：socket中的 udp demo

 1 # 服务端
 2 import socket
 3 ip_port = ('127.0.0.1',9999)
 4 sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
 5 sk.bind(ip_port)
 6 
 7 while True:
 8     data,(host,port) = sk.recvfrom(1024)
 9     print(data,host,port)
10     sk.sendto(bytes('ok', encoding='utf-8'), (host,port))
11 
12 
13 #客户端
14 import socket
15 ip_port = ('127.0.0.1',9999)
16 
17 sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
18 while True:
19     inp = input('数据：').strip()
20     if inp == 'exit':
21         break
22     sk.sendto(bytes(inp, encoding='utf-8'),ip_port)
23     data = sk.recvfrom(1024)
24     print(data)
25 
26 sk.close()
27 
28 UDP

UDP demo

实例：智能机器人

 1 #!/usr/bin/env python
 2 # -*- coding:utf-8 -*-
 3 
 4 
 5 import socket
 6 
 7 ip_port = ('127.0.0.1',8888)
 8 sk = socket.socket()
 9 sk.bind(ip_port)
10 sk.listen(5)
11 
12 while True:
13     conn,address =  sk.accept()
14     conn.sendall('欢迎致电 10086，请输入1xxx,0转人工服务.')
15     Flag = True
16     while Flag:
17         data = conn.recv(1024)
18         if data == 'exit':
19             Flag = False
20         elif data == '0':
21             conn.sendall('通过可能会被录音.balabala一大推')
22         else:
23             conn.sendall('请重新输入.')
24     conn.close()

服务端

 1 #!/usr/bin/env python
 2 # -*- coding:utf-8 -*-
 3 
 4 import socket
 5 
 6 
 7 ip_port = ('127.0.0.1',8005)
 8 sk = socket.socket()
 9 sk.connect(ip_port)
10 sk.settimeout(5)
11 
12 while True:
13     data = sk.recv(1024)
14     print 'receive:',data
15     inp = raw_input('please input:')
16     sk.sendall(inp)
17     if inp == 'exit':
18         break
19 
20 sk.close()

客户端

 

2.4socket粘包问题

先看一个列子

 1 import socket,os
 2 
 3 server = socket.socket()  #创建套接字
 4 server.bind(("localhost",9999)) #绑定
 5 server.listen(5)
 6 print("等电话来")
 7 while True:
 8      print("电话来了")
 9      conn,addr = server.accept()
10      print("new conn:",addr)
11      while True:
12          print("等待新指令")
13          data = conn.recv(1024)
14          if not data:
15              print("客户端已断开")
16              break
17          print("执行指令:",data)
18          cmd_res = os.popen(data.decode()).read() #接受字符串，执行结果也是字符串
19          print("before send",len(cmd_res))
20          if len(cmd_res)==0:
21            cmd_res = 'cmd has no output......'
22          conn.send(str(len(cmd_res)).encode("utf-8")) #先发大小给客户端
23          #time.sleep(0.5)
24          client_ack = conn.recv(1024) # wait client to confirm
25          print("ack from client:",client_ack)
26          conn.send(cmd_res.encode("utf-8"))
27          print("send done")
28 
29 server.close()

server端

 1 #!/usr/bin/env python
 2 # -*-coding=utf-8-*-
 3 # Auther:pfjiand Mail:18565800581@163.com Blog:https://blog.csdn.net/weixin_38384902
 4 
 5 
 6 import socket
 7 
 8 client = socket.socket()
 9 
10 client.connect(("localhost",9999))
11 
12 while True:
13     cmd = input(">>:").strip()
14     if len(cmd)==0:
15         continue
16     client.send(cmd.encode("utf=8"))
17     cmd_res_size = client.recv(1024) #接受命令结束的长度
18     print("命令结果大小:",cmd_res_size)
19     client.send("准备好了接收了，loser可以发了".encode("utf-8"))  #发一个消息
20 
21     received_size = 0
22     received_data =b''
23     while received_size < int(cmd_res_size.decode()):
24         data = client.recv(1024)
25         received_size += len(data) #每次收到的有可能小于1024，所有必须用len判断
26         print(data.decode())
27         received_data += data
28 
29     else:
30         print("cmd res receive done....",received_size)
31         print(received_data.decode())
32 
33 client.close()

client

 

sk.recv(1024)中,bufsize值为1024,最多只能接受1024个字节,那么如果client端发送的数据包特别大时,超过了指定的bufsize的值,超过的不分会留在内核缓冲区中，下次调用recv的时候会继续读剩余的字节。这就是所谓的粘包问题,那么怎么解决呢?

类似于http协议,我们可以:

1. 在发送之前先告诉接受数据端我要发送数据的字节大小
2. 接收数据端收到数据后回复给数据发送端一个确认消息
3. 数据发送端收到确认信息后,发送数据
4. 数据接收端循环接受数据,直到数据接受完成,收到完整数据包

我们可以来看个例子,模拟一个shell连接的方式:

client端:

 1 import socket
 2 ip_port=('127.0.0.1',9999)
 3 
 4 s=socket.socket()
 5 
 6 s.connect(ip_port)
 7 
 8 while True:
 9     send_data=input('>>:').strip()
10 
11 
12     if send_data=='exit':break
13     if len(send_data)==0:continue
14     s.send(bytes(send_data,encoding='utf8'))
15 
16     ready_tag=s.recv(1024)
17     ready_tag=str(ready_tag,encoding='utf8')
18     if ready_tag.startswith('Ready'):
19         msg_size=int(ready_tag.split('|')[-1])
20         print(msg_size)
21     start_tag='Start'
22     s.send(bytes(start_tag,encoding='utf8'))
23 
24     recv_size=0
25     recv_msg=b''
26 
27     while recv_size < msg_size:
28         recv_data=s.recv(1024)
29         recv_msg+=recv_data
30         recv_size+=len(recv_data)
31 
32     print(str(recv_msg,encoding='utf8'))
33 
34 
35 s.close()

client端

 1 import socket,subprocess
 2 ip_port=('127.0.0.1',9999)
 3 
 4 s=socket.socket()
 5 
 6 s.bind(ip_port)
 7 
 8 s.listen(5)
 9 
10 
11 while True:
12     conn,addr=s.accept()
13     while True:
14         try:
15             recv_data=conn.recv(1024)
16             if recv_data==0:break
17             p=subprocess.Popen(str(recv_data,encoding='utf8'),shell=True,stdout=subprocess.PIPE)
18             res=p.stdout.read()
19             if len(res)==0:
20                 send_data='cmd ERROR'
21                 send_data=bytes(send_data,encoding='utf8')
22             else:
23                 send_data=res
24             ready_tag='Ready|%s'%len(send_data)
25             conn.send(bytes(ready_tag,encoding='utf8'))
26 
27             feedback=conn.recv(1024)
28             feedback=str(feedback,encoding='utf8')
29 
30             if feedback.startswith('Start'):
31                 conn.send(send_data)
32 
33         except Exception as ex:
34             break
35 
36 conn.close()

server端

 

 

2.5Socket多并发

多线程的socket--socketserver模块

server端：

 1 import socketserver
 2 
 3 class MyTCPHandler(socketserver.BaseRequestHandler):
 4     def handle(self):
 5         while True:
 6             try:
 7                 self.data = self.request.recv(1024).strip()
 8                 print("{}wrote:".format(self.client_address[0]))
 9                 print(self.data)
10                 self.request.send(self.data.upper())
11             except ConnectionResetError as e:
12                 print("error",e)
13                 break
14 
15 
16 
17 if __name__=="__main__":
18     HOST,PORT = "localhost",9999
19     server = socketserver.ThreadingTCPServer((HOST,PORT),MyTCPHandler) #线程，多并发
20     #server = socketserver.ForkingTCPServer((HOST,PORT),MyTCPHandler)  #windows上不能使用，linux可以
21 
22     server.serve_forever()

View Code

client端：

 1 import socket
 2 
 3 client = socket.socket()
 4 client.connect(("localhost",9999))
 5 while True:
 6     msg = input('>>:').strip()
 7     if len(msg)==0:
 8         continue
 9     client.send(msg.encode('utf-8'))
10     data = client.recv(1024)
11     print("recv:",data.decode())
12     print(type(data))
13 
14 client.close()

View Code

 

仔细来看下server端的code:

1. 创建一个派生类,其基类为socketserver.BaseRequestHandler
2. 类中必须定义一个名称为 handle 的方法
3. 启动ThreadingTCPServer时,先需要创建一个ThreadingTCPServer的实例,需要两个参数,①元组数据(IP,port),②创建的派生类
4. 启动为调用ThreadingTCPServer类中的serve_forever方法,永久启动

为什么必须定义一个handle的方法呢?

先看看他的父类BaseRequestHandler源码:

 1 class BaseRequestHandler:
 2 
 3     """Base class for request handler classes.
 4 
 5     This class is instantiated for each request to be handled.  The
 6     constructor sets the instance variables request, client_address
 7     and server, and then calls the handle() method.  To implement a
 8     specific service, all you need to do is to derive a class which
 9     defines a handle() method.
10 
11     The handle() method can find the request as self.request, the
12     client address as self.client_address, and the server (in case it
13     needs access to per-server information) as self.server.  Since a
14     separate instance is created for each request, the handle() method
15     can define arbitrary other instance variariables.
16 
17     """
18 
19     def __init__(self, request, client_address, server):
20         self.request = request
21         self.client_address = client_address
22         self.server = server
23         self.setup()
24         try:
25             self.handle()
26         finally:
27             self.finish()
28 
29     def setup(self):
30         pass
31 
32     def handle(self):
33         pass
34 
35     def finish(self):
36         pass

源码

 

ThreadingTCPServer源码剖析

类的基类关系图如下:

 

转载于:https://www.cnblogs.com/hcxy2007107708/p/9880419.html