python php multiprocessing,multiprocessing,python_python多进程爬虫报错，multiprocessing,python - phpStudy...

python多进程爬虫报错

周末在家撸代码了,写了一个小脚本爬取alexa网上的top500的域名,使用了多进程,但是报错了,

Traceback (most recent call last):

File "alexa.py", line 116, in

site.multiprocess()

File "alexa.py", line 83, in multiprocess

self.domain = multiprocessing.Manager().list()

File "/home/rocky/python/lib/python2.7/multiprocessing/managers.py", line 667, in temp

token, exp = self._create(typeid, *args, **kwds)

File "/home/rocky/python/lib/python2.7/multiprocessing/managers.py", line 565, in _create

conn = self._Client(self._address, authkey=self._authkey)

File "/home/rocky/python/lib/python2.7/multiprocessing/connection.py", line 175, in Client

answer_challenge(c, authkey)

File "/home/rocky/python/lib/python2.7/multiprocessing/connection.py", line 432, in answer_challenge

message = connection.recv_bytes(256) # reject large message

IOError: [Errno 11] Resource temporarily unavailable

脚本地址alexaTop500

相关阅读:

webpack 多页面构建下 webpack-dev-server 不监听变化

如何设置点击按钮，设置对应的select opntion为选中状态

oc 如何获得用 Masonry 约束好的宽度？

React在componentDidMountt获取元素宽高的问题

不小心设置了系统变量，然后发现在cmd里面输入任何指令都显示不是内部或者外部命令？？

在index.aspx中引入了header.aspx,下拉菜单失效

mysql 中 实现字段值为BOX001，BOX002.... 每插入一条数据数字部分自增

Vue打包第三方css报错测试是没问题，求解答

如何配置Spring boot MVC的jsp支持,着急啊大侠你在哪

按照教程在centos7上安装csf，出现了Job for lfd.service failed

js 构造函数私有变量的问题

document.execCommand 与 document.selection.createRange()

有没有可以检查代码前后版本接口、外部方法变化的工具？

TiJ4th 提到 detached self-referential groups 不会被GC发现，为什么？

七牛有类似趣拍的sdk吗?android

Express4.x use方法的原理

mac idea 点击debug之后会卡半天

vuex2.0 使用问题

vue项目执行npm run dev出现错误

oracle 多表查询问题-笛卡儿积过滤