python3socket非阻塞_python socket非阻塞及python队列Queue

一. python非阻塞编程的settimeout与setblocking+select

侧面认证Python的settimeout确实应该是非阻塞，这次使用select+setblocking和settimeout来做个对比，以此来证明。

首先我设置socket为非阻塞的。然后使用select来监控套接字。

#!/usr/bin/env python# encoding: utf-8

import socket

import threading

import Queue

import time

import select

class worker(threading.Thread):

def __init__(self,name,queue):

self.data=queue

super(worker,self).__init__(name=name)

def run(self):

for i in range(10000):

self.data.put(i)

class customer(threading.Thread):

def __init__(self,name,queue):

super(customer,self).__init__(name=name)

self.data=queue

def scan(self,ip,port):

s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

s.setblocking(False) #non_blocking

#s.settimeout(0.1)

results=s.connect_ex((ip,port))

#print results

a,b,c=select.select([],[s,],[s,],0.1)#设置超时时间0.1秒，这里我根据前面博文的总结得出来的。

#当connect连接成功的时候，代表Tcp3次握手完成，此时变成可写状态

if b:#如果socket可写，代表了端口是开放的

print port

s.close()

def run(self):

while True:

try:

a=self.data.get(1,5)

except:

break

else:

ip='220.181.136.241'

self.scan(ip,a)

def main():

start=time.time()

queue=Queue.Queue()

pool=[]

worke=worker('firebroo',queue)

worke.start()

for i in range(100):

a=customer('firebroo',queue)

pool.append(a)

for i in pool:

i.start()

worke.join()

for i in pool:

i.join()

print time.time()-start

del pool[:]

if __name__=='__main__':

main()

大概花费17.5秒执行完毕。下面我使用settimeout。

#!/usr/bin/env python# encoding: utf-8

import socket

import threading

import Queue

import time

import select

class worker(threading.Thread):

def __init__(self,name,queue):

self.data=queue

super(worker,self).__init__(name=name)

def run(self):

for i in range(10000):

self.data.put(i)

class customer(threading.Thread):

def __init__(self,name,queue):

super(customer,self).__init__(name=name)

self.data=queue

def scan(self,ip,port):

s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

#s.setblocking(False)

s.settimeout(0.1)#为了和前面保持一致，当然得设置0.1秒

results=s.connect_ex((ip,port))

if results==0:#connect_ex中0代表端口开放，3次握手完成

print port

#print results

#a,b,c=select.select([],[s,],[s,],0.1)#设置超时时间0.1秒，这里我根据前面博文的总结得出来的。

#当connect连接成功的时候，代表Tcp3次握手完成，此时变成可写状态

#if b:#如果socket可写，代表了端口是开放的

# print port

s.close()

def run(self):

while True:

try:

a=self.data.get(1,5)

except:

break

else:

ip='220.181.136.241'

self.scan(ip,a)

def main():

start=time.time()

queue=Queue.Queue()

pool=[]

worke=worker('firebroo',queue)

worke.start()

for i in range(100):

a=customer('firebroo',queue)

pool.append(a)

for i in pool:

i.start()

worke.join()

for i in pool:

i.join()

print time.time()-start

del pool[:]

if __name__=='__main__':

main()

时间大概是17.4。这两个测试结果应该可以说是一样的，难免会有误差。

总结：由此我可以说Python的settimeout这个API确实是非阻塞。和select+setblocking效果是一样的

二. Python Queue的使用

python 中，队列是线程间最常用的交换数据的形式。Queue模块是提供队列操作的模块，虽然简单易用，但是不小心的话，还是会出现一些意外。

1. 阻塞模式导致数据污染

importQueue

q = Queue.Queue(10)

fori inrange(10):

myData = 'A'

q.put(myData)

myData = 'B'

这

是一段极其简单的代码，但我总是不能获得期望的结果（期望在队列中写入10个A，却总是混杂了B）。原来，Queue.put（）默认有 block =

True 和 timeou 两个参数。当 block = True 时，写入是阻塞式的，阻塞时间由 timeou

确定。正因为阻塞，才导致了后来的赋值污染了处于阻塞状态的数据。Queue.put（）方法加上 block=False

的参数，即可解决这个隐蔽的问题。但要注意，非阻塞方式写队列，当队列满时会抛出 exception Queue.Full 的异常。

2. 无法捕获 exception Queue.Empty 的异常

whileTrue:

......

try:

data = q.get()

exceptQueue.Empty:

break

我

的本意是用队列为空时，退出循环，但实际运行起来，却陷入了死循环。这个问题和上面有点类似：Queue.get（）默认的也是阻塞方式读取数据，队列为

空时，不会抛出 except Queue.Empty ，而是进入阻塞直至超时。 加上block=False 的参数，问题迎刃而解。

3. Queue常用方法汇总

Queue.Queue(maxsize=0) FIFO， 如果maxsize小于1就表示队列长度无限

Queue.LifoQueue(maxsize=0) LIFO， 如果maxsize小于1就表示队列长度无限

Queue.qsize() 返回队列的大小

Queue.empty() 如果队列为空，返回True,反之False

Queue.full() 如果队列满了，返回True,反之False

Queue.get([block[, timeout]]) 读队列，timeout等待时间

Queue.put(item, [block[, timeout]]) 写队列，timeout等待时间

Queue.queue.clear() 清空队列