pyspider
1、安装
(1)pip install pycurl或者pip install D:\Software\python37\Scripts\pycurl-7.43.1-cp37-cp37m-win_amd64.whl ;pycurl下载地址 (2)pip install pyspider
2、pyspider命令启动错误,出现"SyntaxError:invalid syntax"报错。
(1) 原因:async在Python 3.7中已成为关键字, (2) 解决方法:
A、打开pyspider文件夹(在python路径下python位置\Lib\site- packages\pyspider)
B、修改下列python文件中的async为shark(全部替换),pycharm中用ctrl+ r快捷键可以进行替换。
run. py
fetcher\tornado_fetcher. py
webui\app. py
3、pyspider命令启动错误,出现"ValueError: Invalid configuration"报错。
(1)原因:WsgiDAV发布了版本 pre-release 3.x导致 (2)解决方法:
python - m pip install wsgidav== 2.4 .1
4、pyspider命令启动错误,出现"phantomjs"报错。
A、下载phantomjs安装: 下载地址:https: / / phantomjs. org/ download. html
B、一路next安装,将安装路径:D: \Software\phantomjs- 2.1 .1 \bin添加到环境变量path里面。
C、打开并找到bin文件夹里的 phantomjs. exe,点击运行;出现phantomjs> 即安装成功。
5、命令窗口输入pyspider;浏览器输入:http://localhost:5000/
(1)命令窗口输入pyspider,出现如下界面,即?。 (2)浏览器输入:http://localhost:5000/ ,出现如下界面,即?。
6、如果是在windows环境下,系统会提示 FutureWarning: timeout is not supported on your platform. warnings.warn(“timeout is not supported on your platform.”, FutureWarning),忽略即可。