首先要安装好Python环境,以前Scrapy只能应用于Python2,现在Python3也能了
Python3下载安装好后配置好环境变量path后
@安装方法
首先安装wheel
pip install wheel
1
安装完成后验证是否成功
wheel
1
安装成功是这样
然后去网站http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml下载Scrapy库,
进到网站=>搜索’Scrapy’=>下载
把下载的.whl文件放在一个容易寻找的地址(我放在了D:\)
然后在控制台进入该地址
在该地址下输入
pip install [whl]
1
注:[whl]表示你的.whl文件,一定要全名,XXXX.whl
然后,并没有结束。。。。。
安装过程还是有可能失败
可能会出现
Failed to build XXXX
1
之类的提示一闪而过(比如说我提示的 twisted),最后安装失败还是提示
error: Unable to find vcvarsall.bat
1
为什么会这样那,因为Scrapy框架基于Twisted
所以,要做的就是去网站下载Twisted之类的安装文件,先把它们装上,安装方法和上边的相同。
最后pip install Scrapy。
建个项目测试一下
scrapy startproject pyjy
1
注:pyjy为项目名
@运行Scrapy项目方法:
在生成的项目目录下shift+右键打开运行窗口,然后输入命令:
Scrapy crawl pyjy