python
文章平均质量分 68
我要你的自然74
这个作者很懒,什么都没留下…
展开
-
关于使用threadpool时的巨坑:报错result = request.callable(*request.args, **request.kwds)
本来想写一个按广度优先爬取所有qq的一些信息和说说,计划线程池来实现多线程思路:待爬取队列出对200个qq,待爬取队列的组成元素是元组, 即(qq1, depth)局部代码如下 #开始出队20线程爬数据,这里不使用threading的原因是每次出队20个线程执行都要join,20个线程中只要还剩一个没执行完,在其他的都要 #等,效率太慢 ...原创 2018-08-15 17:17:04 · 941 阅读 · 0 评论 -
python循环定时中断执行某一段程序的方法
问题说明 最近在写爬虫,由于单个账号访问频率太高会被封,所以需要在爬虫执行一段时间间隔后自己循环切换账号所以就在想,有没有像单片机那样子设置一个定时中断,再定义一个中断入口,这样子每隔一段时间执行一次中断当然不能用sleep,这样子整个进程就停在这了,而不是接着爬数据解决方法用到threading的Timer,也类似单片机那样子,在中断程序中再重置定时器,设置中断,pytho...原创 2018-08-22 09:40:58 · 11269 阅读 · 1 评论