一次tornado **list changed size during iteration**异常的处理

最新推荐文章于 2022-04-16 13:36:27 发布
最新推荐文章于 2022-04-16 13:36:27 发布
阅读量290 收藏
点赞数
文章标签： python 开发工具 git
原文链接：https://my.oschina.net/hulingfeng/blog/1572573
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

在使用tornado作为mqtt的consumer来订阅消息,当接收到消息后使用tornado提供的AsyncHTTPClient进行异步HTTP请求的时候出现list changed size during iteration的异常

异常信息如下：

Exception in thread Tornado:
Traceback (most recent call last):
 ...
       tornado.ioloop.IOLoop.instance().start()
    File "/usr/lib64/python2.7/site-packages/tornado/ioloop.py", line 815, in start heapq.heappop(self._timeouts)
RuntimeError: list changed size during iteration

依赖的组件

  • tornado ==4.4.2
  • paho-mqtt==1.3.1

修改前

问题代码如下：

client = mqtt.Client(protocol=mqtt.MQTTv31)
 
def on_connect(client, userdata, flags, rc):
    
    gen_log.debug("Connected with result code " + str(rc))
    from threading import current_thread
    gen_log.debug('----------on_connect thread name:{}'.format(current_thread().getName()))     
    client.subscribe("chinasws")     
 
@coroutine
def on_message(client, userdata, msg):

    from threading import current_thread
    gen_log.debug('----------on_message thread name:{}'.format(current_thread().getName()))
    
    def on_response(response):
        gen_log.debug("on_response running result:{} message:{}".format(response.code,msg.payload))
        
    http_client=AsyncHTTPClient()
    http_request=HTTPRequest('http://192.168.2.40/?body={}'.format(random.randint(1,100000)))
    response=yield http_client.fetch(request=http_request)
    gen_log.debug("on_response running result:{} message:{}".format(response.code,msg.payload))


class PubMessageHandler(RequestHandler):
    
    @coroutine
    def get(self):
        topic=self.get_argument('topic')
        body=self.get_argument('body')
        #info=yield Task(client.publish,topic,payload=body,qos=1,retain=True)
        info=client.publish(topic,payload=body+'{}'.format(random.randint(1,10000)),qos=1,retain=True)
        self.write(str(info.mid))


@coroutine
def mqtt_subscribe():
    #host="192.168.2.40"
    host='iot.eclipse.org'
    gen_log.debug('connecting to {}'.format(host))
    #client.connect_async("iot.eclipse.org", 1883, 60)
    #client.connect("iot.eclipse.org", 1883, 60)
    client.connect(host, 1883, 60)
    client.on_connect = on_connect
    client.on_message = on_message
    gen_log.debug('connected to {}'.format(host))
    client.loop_start()

 def main():
    parse_command_line()
    handlers=[
        (r'/pub',PubMessageHandler),
    ]
    setting={
        'debug':True
    }
    from threading import current_thread
    gen_log.debug(current_thread().getName())
    app=Application(handlers=handlers,**setting)
    app.listen(11108)
    ioloop=IOLoop.current()
    ioloop.add_callback(mqtt_subscribe)
    gen_log.debug('server running at 11108')
    ioloop.start()

if __name__ == '__main__':
    main()

测试方法

python2.7 app.py --logging=debug #运行tornado服务器

输出

george@george-HP-Z230-SFF-Workstation:~/workspace/mqttdemo$ python2.7 app.py --logging=debug
[D 171113 08:51:38 app:100] MainThread
[D 171113 08:51:38 app:105] server running at 11108
[D 171113 08:51:38 app:64] connecting to 192.168.2.40
[D 171113 08:51:38 app:70] connected to 192.168.2.40
[D 171113 08:51:38 app:22] Connected with result code 0
[D 171113 08:51:38 app:24] ----------on_connect thread name:Thread-1
[D 171113 08:51:38 app:38] ----------on_message thread name:Thread-1
[D 171113 08:51:38 app:46] on_response running result:200 message:efgh9023


curl http://localhost:11108/pub?topic=chinasws\&body=aaaa #需进行压力测试话可以使用`ab`或`jmeter`等工具

在配置比较差的服务器上进行压力测试很容易出现list changed size during iteration的异常，通过观察服务器启动的输出发现 在on_connect和on_message,两个方法是在线程Thread-1中运行，在on_message使用了tornado提供的AyncHTTPClient，而IOLoop是在线程MainThread中运行，结合https://github.com/tornadoweb/tornado/issues/1773的描述，基本断定是多线程互操作heapq导致的异常.

tornado推荐的用法是单线程事件循环的工作模式，所以解决该问题的思路是取消多线程的模式，利用tornado本身的事件循环来完成mqtt的订阅

修改后

代码如下

client = mqtt.Client(protocol=mqtt.MQTTv31)

# The callback for when the client receives a CONNACK response from the server.


def on_connect(client, userdata, flags, rc):
    
    gen_log.debug("Connected with result code " + str(rc))
    from threading import current_thread
    gen_log.debug('----------on_connect thread name:{}'.format(current_thread().getName()))
    # Subscribing in on_connect() means that if we lose the connection and
    # reconnect then subscriptions will be renewed.
    client.subscribe("chinasws")
    

    #client.subscribe("$SYS/#")

# The callback for when a PUBLISH message is received from the server.

@coroutine
def on_message(client, userdata, msg):

    from threading import current_thread
    gen_log.debug('----------on_message thread name:{}'.format(current_thread().getName()))
    gen_log.debug('----------on_message message body:{}'.format(msg.payload))
    
    def on_response(response):
        gen_log.debug("on_response running result:{} message:{}".format(response.code,msg.payload))
        
    http_client=AsyncHTTPClient()
    http_request=HTTPRequest('http://192.168.2.40/?body={}'.format(random.randint(1,100000)))
    response=yield http_client.fetch(request=http_request)
    gen_log.debug("on_response running result:{} message:{}".format(response.code,msg.payload))


class PubMessageHandler(RequestHandler):
    
    @coroutine
    def get(self):
        topic=self.get_argument('topic')
        body=self.get_argument('body')
        #info=yield Task(client.publish,topic,payload=body,qos=1,retain=True)
        #info=client.publish(topic,payload=body+'{}'.format(random.randint(1,10000)),qos=1,retain=True)
        info=client.publish(topic,payload=body+'{}'.format(random.randint(1,10000)))
        self.write(str(info.mid))


@coroutine
def mqtt_subscribe():
    host="192.168.2.40"
    #host='iot.eclipse.org'
    gen_log.debug('connecting to {}'.format(host))
    #client.connect_async("iot.eclipse.org", 1883, 60)
    #client.connect("iot.eclipse.org", 1883, 60)
    client.connect(host, 1883, 60)
    client.on_connect = on_connect
    client.on_message = on_message
    gen_log.debug('connected to {}'.format(host))
    #client.loop_start() 
    #关键修改
    def connection_read(fd,events):
        client.loop()    
    io_loop=IOLoop.current()
    io_loop.add_handler(client.socket().fileno(),connection_read,IOLoop.READ|IOLoop.WRITE)

    


def main():
    parse_command_line()
    handlers=[
        (r'/pub',PubMessageHandler),
    ]
    setting={
        'debug':True
    }
    from threading import current_thread
    gen_log.debug(current_thread().getName())
    app=Application(handlers=handlers,**setting)
    app.listen(11108)
    ioloop=IOLoop.current()
    ioloop.add_callback(mqtt_subscribe)
    gen_log.debug('server running at 11108')
    ioloop.start()

if __name__ == '__main__':
    main()

关键点

注释了mqtt loop_start的调用，增加了tornado 的事件注册

def connection_read(fd,events):
        client.loop()    
    io_loop=IOLoop.current()
    io_loop.add_handler(client.socket().fileno(),connection_read,IOLoop.READ|IOLoop.WRITE)

python2.7 app.py --logging=debug

输出

george@george-HP-Z230-SFF-Workstation:~/workspace/mqttdemo$ python2.7 app.py --logging=debug
[D 171113 09:40:43 app:102] MainThread
[D 171113 09:40:43 app:107] server running at 11108
[D 171113 09:40:43 app:66] connecting to 192.168.2.40
[D 171113 09:40:43 app:72] connected to 192.168.2.40
[D 171113 09:40:43 app:22] Connected with result code 0
[D 171113 09:40:43 app:24] ----------on_connect thread name:MainThread
[D 171113 09:40:44 app:38] ----------on_message thread name:MainThread
[D 171113 09:40:44 app:39] ----------on_message message body:efgh1068
[I 171113 09:40:48 web:2063] 200 GET /pub?topic=chinasws&body=efgh (127.0.0.1) 2.01ms
[D 171113 09:40:48 app:38] ----------on_message thread name:MainThread
[D 171113 09:40:48 app:39] ----------on_message message body:efgh2680
[D 171113 09:40:49 app:47] on_response running result:200 message:efgh1068
[D 171113 09:40:55 app:47] on_response running result:200 message:efgh2680

通过调整代码后，从输出可以看出on_connect和on_message都运行在线程MainThread中,修改后的代码在配置低的服务器上进行大量的压力测试未出现list changed size duration iternation的异常，至此解决了该问题

小结

tornado是一个比较灵活的应用程序框架，开发web站点或网络应用程序等都有相关模块提供支持，但是某些第三方的功能（如mqtt）需要第三方库(如paho-mqtt)进行支持，在集成第三方库的时候需要比较小心处理，有些第三方库本身没有提供对tornado的支持或官方文档没有相关指导说明，集成时要小心线程间的互操作问题。在本文的案例中如果在on_message中使用requests库放弃AsyncHTTPClient那么就不会出现list changed size duration iternation的异常。另外一个项目https://github.com/hulingfeng211/sshwall.git也是集成了paramiko,利用tornado实现webssh的功能的案例.

转载于:https://my.oschina.net/hulingfeng/blog/1572573

weixin_34272308
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
线程池的总结
泡椒小凤爪
09-23 190
线程池的作用 1.限制工作线程的数目； 2.减少创建和销毁线程的次数； 3.线程可以被重复利用； 4.可以根据系统的承受能力来调整工作线程的数目； 配置线程池的静态工厂方法 1.newSingleTheadExecutor 创建单个线程的线程池；线程池中只有一个线程；适合顺序执行并输出任务的场景；没有并发执行 2.newFixedTheadExecutor 创建固定大小的线程池；每执行一个任务就会创建一个线程；当线程数达到线程池大小时就保持不变；只有核心线程。 3.newCachedTheadExecuto
解决：“dictionary changed size during iteration”
qq_40666620的博客
03-30 1597
很简单，dictionary changed size during iteration，就是说在遍历的时候，字典改变了大小，有两种方法可以解决。 加上互斥量什么的，互斥访问就行了。 这里用的是这种，比较无脑的，直接将它的keys转化为list，相当于将keys存在了一个临时变量里面，所以即使字典的大小改变了，也没关系，不会在本次遍历中使用新加入的，如果是删除的，直接把异常抛了就行。 Play...
RuntimeError dictionary changed size during iteration 遍历字典时报错
东南飘雪
11-27 346
RuntimeError: dictionary changed size during iteration 在字典遍历过程中修改字典长度时会报错；这里是遍历时修改了字典长度，导致了字典中有字典，一直在查找，直到RuntimError。 我是在用globals函数时，发现的问题： # test.py # version:Python3.6.0 def test1(): pass cla...
如何解决 dictionary changed size during iteration （字典在迭代中改变大小）
我的博客
03-31 5849
Python中遍历字典过程中更改元素导致错误的解决方法,针对增删元素后出现dictionary changed size during iteration的异常解决做出讨论和解决,需要的朋友可以参考下： 以下代码要删除字典a中value为0的item，通过遍历将key和value分别存到list里面，再同过dict(zip())赋值给a。这样就可以在迭代中改变字典了。 a = {1:0,2:1,3...
Python3.8 tornado报错NotImplementedError（转载）
Hank's Techblog
06-20 5588
以前都是装的3.7版本，没注意这次装了3.8，一直报这个错。正一筹莫展搜到这篇文章，原来是3.8版本才有的问题 之前的代码拿过来跑,遇到报错如下: Traceback (most recent call last): File ".\index.py", line 325, in <module> app.listen(8888) File "C:\Program Files\Python38\lib\site-packages\tornado\web.py", line 2...
tornado2.2 for ARM 破*解 for win7 64bit
07-30
tornado2.2在win7下无法使用，我对其进行了修改，只用把附件中的 ctoa.exe放在%WIND_BASE%/host/diab/WIN32/lib/下 把tgtsvr.exe Tornado.exe wtxapi.dll放在%WIND_BASE%/host/x86-win32/bin/下 或者使用其中的...
基于MD5加密的Tornado码复制算法改进* (2015年)
04-24
基于Tornado 码的复制算法具有编解码速度比较快、部分数据丢失时亦能被恢复的优点,但将该算法应用于分布式存储系统时,存在数据易被窃取、篡改的风险.为此,对基于Tornado码的复制算法提出了改进:1 )引入加密机制,使...
Tornado Web服务器中处理空白字符的解决方案
09-30
主要介绍了Tornado Web服务器中处理空白字符的解决方案,本文通过修改Tornado源码解决这个问题,需要的朋友可以参考下
Python对Tornado请求与响应的数据处理
09-17
在Python的Web开发框架Tornado中，处理请求与响应的数据是一项关键任务。Tornado提供了丰富的API来方便开发者获取和处理HTTP请求中的各种数据。以下是一些核心知识点的详细说明： 1. **获取查询字符串参数**： - `...
Linux平台下python3基于tornado的微信公众号二次开发
12-21
首先我们需要安装python、tornado、ngrok(或者其他映射工具)、wechatpy。 安装python3 sudo apt-get install python3 在安装tornado和wechat时需要用pip,所以还需要安装pip sudo apt-get install python3-pip 接...
python exception in thread_这个是什么原因，请问怎么处理Exception in thr
weixin_39774808的博客
12-20 6376
该楼层疑似违规已被系统折叠隐藏此楼查看此楼这个是什么原因，请问怎么处理Exception in thread django-main-thread:Traceback (most recent call last):File "D:\Python36\lib\threading.py", line 916, in _bootstrap_innerself.run()File "D:\Python...
add python 3.8 to path是什么意思_解决Python3.8运行tornado项目报NotImplementedError错误
weixin_34493871的博客
02-06 1273
今天拉了一个使用了tornado的项目在本地跑，按照源码作者的步骤配置完，运行，直接报错了，要求环境Python3.8，理论上应该直接正常运行的，报错信息：Traceback (most recent call last):File "ice_server.py", line 150, in RunServer.run_server(port=p, host=h)File "ice_server....
【Python】: Timer 的使用
Jack_Kuo的博客
08-12 3935
说明 另起一个线程在指定时间调起一个函数。 函数：Timer(interval, function, args=[ ], kwargs={ }) interval: 指定的时间 function: 要执行的方法 args/kwargs: 方法的参数 import threading import time def func(time_0): print('\n函数被调起：hello timer!') print("函数定时调用时间：", time.time() - time_0)
ERROR: Exception: Traceback (most recent call last)的解决方法
热门推荐
inside802的博客
10-20 17万+
在使用pip安装pillow时，总是提示ERROR: Exception: Traceback (most recent call last) 到网上搜了很多方法，包括使用管理员权限，修改pip __main__方法，都不行，后来我想应该就是简单的网速低导致断链的问题吧？pip可能不支持断点续传。后来我按照cmd命令行里提示的下载地址，自己用浏览器下载，然后本地安装whl文件，成功。 下载完成...
python exception in thread_线程Thread1中的Python异常（在引导程序内）
weixin_39796140的博客
12-20 5878
我已经构建了一个python脚本来管理我的池中的许多不同的东西。我已经添加了更多的函数，并在运行所有东西的Raspberry Pi上玩了一些超时。今天我开始发现这个错误：Exception in thread Thread-1:Traceback (most recent call last):File "/usr/lib/python2.7/threading.py", line 810, in...
部署Tornado
人饭子的博客
11-13 902
部署Tornado 为了充分利用多核CPU，并且为了减少同步代码中的阻塞影响，在部署Tornado的时候需要开启多个进程（最好为每个CPU核心开启一个进程） 因为Tornado自带的服务器性能很高，所以我们只需开启多个Tornado进程。为了对外有统一的接口，并且可以分发用户的请求到不同的Tornado进程上，我们用Nginx来进行代理。 1. supervisor 为了统一管
mqtt入门
WY001的博客
04-16 3640
文章目录0 前言MQTTMQTT 协议特性1 MQTT基础概念1.1 MQTT 协议的通信模型1.2 MQTT Client1.3 MQTT Broker1.4 MQTT 协议数据包2 建立到 MQTT Broker 的连接2.1 Client 连接到 Broker 的流程2.2 CONNECT2.2.1 可变头（Variable header）2.2.2 消息体（Payload）2.3 CONNACK2.3.1 可变头（Variable header）2.3.2 消息体（Payload）3 关闭连接3.
RuntimeError: dictionary changed size during iteration 解决办法
u013344884的博客
08-20 6万+
在字典遍历过程中修改字典元素，报错 RuntimeError: dictionary changed size during iteration 得知遍历时不能修改字典元素 for k in func_dict.keys(): if func_dict[k] is np.nan: del func_dict[k] continue 解决办法：将遍历条...
QPaintEvent *，什麽意思
最新发布
07-11
`QPaintEvent *` 是Qt框架中的一个事件类，用于表示绘制事件。它是一个包含绘制相关信息的事件对象，当需要绘制窗口内容时，系统会生成一个QPaintEvent对象并发送给对应的窗口部件。 在Qt中，窗口部件（例如QWidget...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值