如果需要转载请私信,并说明出处链接,谢谢合作
自己爬过的坑。。。。。
我的环境:win7
python :3.5
一.先在cmd下 进入Python的安装目录。
例:C:\Users\asus>cd /d D:\Python\Python35-32
然后在安装目录下输入 easy_install pip
如果提示 缺少 setuptool 模块,有的是自带的,没有的话,可以自行百度Google下载,然后放到Python的安装目录下,放心不是很难。
二.现在开始安装scrapy或者lxml。
cmd安装目录下输入 pip install scrapy。
要下载的,所以要视网速而等。
然后可能会发现报错,“Unable to find vcvarsall.bat ”
这个问题就是没安装微软的 virtual studio ,少了这个.bat,安装virtual studio时要勾选什么Python包什么的。但是virtual studio 太大了,而且版本什么的太麻烦,现在推荐下面这种。
解决办法:
1.pip install wheel
2.在这里下载对应的.whl文件,注意别改文件名
网址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#scrapy
按Ctrl+F ,输入lxml ,找到下面这段
lxml-3.6.4-cp27-cp27m-win32.whl
lxml-3.6.4-cp27-cp27m-win_amd64.whl
lxml-3.6.4-cp34-cp34m-win32.whl
lxml-3.6.4-cp34-cp34m-win_amd64.whl
lxml-3.6.4-cp35-cp35m-win32.whl
lxml-3.6.4-cp35-cp35m-win_amd64.whl
cp后面是Python的版本号,35表示3.5,根据你的Python版本下载。
然后放到你的Python安装目录下
pip install 完整的.whl文件名和后缀。
4.重新安装scrapy 。
pip install scrapy
没有报错说明成功了,
自己重启编译器 试下。
import scrapy
看是否成功。
还有,可能你代码写完了,在用scrapy框架的时候。
当你开始爬虫的时候,输入
scrapy crawl 你spider的名字
可能会出现
ImportError: cannot import name '_win32stdio'
解决办法就是:
pip install twisted-win
然后重新输入
scrapy crawl 你spider的名字
启动爬虫
如果
出现了 Crawled (200)
那么就恭喜你成功了。
注:
scrapy所需要的依赖包
pywin32
Twisted
zope.interface
lxml
pyOpenSSL
可能每个人不一样。但是看控制台的信息,缺什么就 pip install 什么,但是一定要把包的名字敲对。