Windows10 & 11系统Python 3.9安装Pyspider 2022年11月24日

原创已于 2022-11-25 07:45:42 修改 · 2.5k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言 #爬虫

于 2022-11-24 10:52:21 首次发布

Python 专栏收录该内容

13 篇文章

订阅专栏

（2）、修改tornado_fetcher.py

（3）、修改app.py

（4）、修改webdav.py

编辑

（5）、修改base_handler.py

结果

参考材料

一、安装Pyspider的准备

安装 wheel、pycurl

1、wheel的安装

pip install wheel

2、pycurl的安装

Archived: Python Extension Packages for Windows - Christoph Gohlkehttps://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl

用pip或在PyCharm下是无法安装的。点击上方的链接选择对应你的Python版本安装。

第三个横杠后的cp*为你的Python版本号，win**是你的系统位数。

系统位数的查看

到cmd下输入:

python

下载好后到cmd内（install后是pycurl文件的地址）。

pip install pycurl-7.45.1-cp39-cp39-win_amd64.whl

3、安装PhantomJS

Download PhantomJShttps://phantomjs.org/download.html

你是什么系统就下载对应的系统

下载好后，进入phantomjs-2.1.1-windows\bin，将里面的phantomjs.exe复制到Python的安装目录下。如果你不知道自己Python安装在哪里，到cmd下输入：where python

或者你也可以到PyCharm下查看Python的位置。

将phantomjs.exe文件复制到Python的目录下。

二、安装PySpider

在cmd下输入：

pip install pysider

我这里是已经安装好，当你第一次安装时，安装好后最后一行会显示：Success……

三、修改文件

因为PySpider已经停止维护，所以在3.6版本后的Python有些许不同。

需要修改五个文件：

../python3.*/Lib/site-packages/pyspider/run.py
../python3.*/Lib/site-packages/pyspider/fetcher/tornado_fetcher.py

../python3.*/Lib/site-packages/pyspider/webui/app.py

../python3.*/Lib/site-packages/pyspider/webui/webdav.py

../Python3*/Lib/site-packages/pyspider/libs/base_handler.py

（1）、修改run.py

原先这里时async，黄色圈出来的是我已经修改后的，但文件内不止这一条需要修改。

按住 Cltr + F 利用查找功能，查找全部为：async的内容，将其更改为async_1或其他你自定义名称（但要确保之后的async也更改为同样内容！！！）

（2）、修改tornado_fetcher.py

也同修改run.py一样，将async修改。（要确保修改的async同你前面修改的是同样内容！！！）

（3）、修改app.py

同上

（4）、修改webdav.py

将第18行的 from .app import app修改为：

from app import app

再到最后一行，将以下行给注释，图片中为绿色区域。

 'provider_mapping': {
         '/': ScriptProvider(app)
     },
    'domaincontroller': NeedAuthController(app),

再将以下行添加到上面注释行下方。

'http_authenticator': {
        'HTTPAuthenticator':NeedAuthController(app),
    },

（5）、修改base_handler.py

在文件开头导入math库，同时将fractions修改为math。

import math

修改前：

修改后：

以上关于PySpider安装大功告成。

在cmd下输入：pyspider 或 pyspider all

但PySpider存在不稳定，需要多次尝试。

成功开启后，在浏览器端输入：

127.0.0.1:5000

结果

参考材料

pyspider运行卡死在result_worker starting 的解决办法_JacksonKim的博客-CSDN博客_result_worker starting...https://blog.csdn.net/qq_40765537/article/details/105457499

AbrahamChenhttps://www.cnblogs.com/AbrahamChen/p/12186126.html

pyspider all时，出现TypeError-有问必答-CSDN问答https://ask.csdn.net/questions/7634306