问题出现在循环体内的回调函数,用一个很简单的例子举例:
for x in xrange(3):
print "requests begin:%s"%x
def callback(respon):
print x
print respon.body
client.fetch("http://httpbin.org/get?x=%s" % x, callback)
此例子忽略了等待回调函数完成的wait实现(不实现这个会导致作为单个文件运行的时候,还没获得结果就退出了),在tornado.testing中的AsyncTestCase提供了相关功能
httpbin.org/get这个地址的作用是返回了请求的json对象,形如:
{
"args": {
"x": "0"
},
"headers": {
"Accept-Encoding": "gzip",
"Connection": "close",
"Host": "httpbin.org",
"X-Request-Id": "95df3c15-7ed0-4a6d-830d-fb9629e66515"
},
"origin": "192.81.129.91",
"url": "http://httpbin.org/get?x=0"
}
但实际上,由于回调函数特殊的特性:访问闭包内局部变量的当前值。易知,在第一个请求
http://httpbin.org/get?x=0的url返回时,循环早已结束,此时的x已经为2,因此实际上虽然httpbin.org返回的json告诉我们,get参数里的x为0,但闭包内访问到的x已经是2了
解决方法我想了两个,一个是利用回调函数构造时的变量空间,在构造函数时即产生这个参数,形如:
client = AsyncHTTPClient(self.io_loop)
for x in xrange(3):
def callback(respon,num=x):
print x, num
print respon.body
if num == 2:
self.stop()
client.fetch("http://httpbin.org/get?x=%s" % x, wrap(x))
一种是再包一层闭包(这层闭包也可以放在for外面):
client = AsyncHTTPClient(self.io_loop)
for x in xrange(3):
def wrap(number):
num = number
def callback(respon):
print x, num
print respon.body
if num == 2:
self.stop()
return callback
client.fetch("http://httpbin.org/get?x=%s" % x, wrap(x))
#wrap放在for外面:
client = AsyncHTTPClient(self.io_loop)
def wrap(number):
num = number
def callback(respon):
print x, num
print respon.body
if num == 2:
self.stop()
return callback
for x in xrange(3):
client.fetch("http://httpbin.org/get?x=%s" % x, wrap(x))
思索了一下,闭包的内存占用问题应当是不可避免的?当循环体的每一项(x)是一个大内存对象时,内存占用等同于不用迭代器用列表进行循环,除了这两种不知道还有没有更优雅的解决方案。。