环境python3,pycharm
一、pip安装scrapy
1.安装遇到问题
pip install scrapy
安装失败,提示错误如下:
error: command ‘C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\BIN\x86_amd64\cl.exe’ failed with exit status
实际不是Microsoft Visual Studio问题,下载各种版本安装都无法解决(安装pymssql也是这种提示)。
解决办法:
安装Twisted解决,我安装的是Twisted-18.7.0-cp36-cp36m-win32.whl
下载Twisted-18.7.0-cp36-cp36m-win32.whl
拷贝到python的Scripts目录,我的是C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\Scripts
下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/
pip install Twisted-18.7.0-cp36-cp36m-win32.whl
2.再安装scrapy
pip install scrapy
安装成功
二、Scrapy的使用
1.创建scrapy项目
开始/运行/cmd
进入要创建项目的目录,我创建名为ppp的scrapy
scrapy startproject ppp
再进入目录下ppp/ppp/spid