安装爬虫框架
1.pyspider
直接使用命令pythonc -m pip install
pyScrapy安装的版本与当前版本3.7不匹配,因为syntax在python3.7版本为关键字,所以解决办法是修改源文件。修改后还是无法启动,我们可以通过报错看到错误的地方,继续修改,具体操作如下:
- 找到pyspider模块文件夹中的run.py文件,修改其中的syntax关键字;
- 把webui文件夹中的app.py文件中关键字syntax也修改;
- 打开webdav.py文件把第209行的代码替换为
'http_authenticator':{ 'HTTPAuthenticator':NeedAuthController(app), }
- 然后打开在命令行输入pyspider all,如出现如下命令则配置成功,接着打开浏览器输入http://localhost:5000
2.pyScrapy
安装pyScrapy过程中报错,看似是要安装 Microsoft Visual C++ 14.0,实则不然,building ‘twisted.test.raiser’ extension这一句话才是关键。
- 解决方法:
- http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件;
- 安装下载的文件,最后安装pyScrapy即可成功;