1-pyspider all命令报错：‘fetch‘: lambda x: tornado_fetcher.Fetcher(None, None, async=False).fetch(x),

最新推荐文章于 2021-11-10 21:08:37 发布

小K哈哈

最新推荐文章于 2021-11-10 21:08:37 发布

阅读量258

点赞数

分类专栏： Python爬虫文章标签： pyspider

本文链接：https://blog.csdn.net/lf18879954995/article/details/109621880

版权

6 篇文章 0 订阅

订阅专栏

主要改动三个文件：

1、/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspider/run.py

2、/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspider/fetcher/tornado_fetcher.py

3、/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspider/webui/app.py

CTRL+F查找 async 替换掉。（可替换为asyncs）

在替换是要注意：只替换名为async 的变量或参数名。不要图省事选择“全部替换”

例文件tornado_fetcher.py中如果全部替换是17处，便会报错：

from tornado.curl_httpclient import CurlAsyncHTTPClient
from tornado.simple_httpclient import SimpleAsyncHTTPClient

CurlAsyncHTTPClient、SimpleAsyncHTTPClient、MyCurlAsyncHTTPClient、MySimpleAsyncHTTPClient这些别改，是Async别改为asyncs。将其中四处引用类改回来，如果已经全部替换完，请回去手动修改。

替换保存后再次运行“pyspider all”调试。

成功图如下：访问localhost:5000即可进入ui

参考：https://blog.csdn.net/DonkeyX/article/details/103668821

关注

专栏目录