【Scrapy学习纪要】常见问题解决思路汇总

前提：windows 7系统 64bit环境，正确安装Scrapy，并且配置到系统环境变量。

1.通过scrapy调试某个网页

       scrapy shell  [web地址]

2.启动指定项目

      进入创建项目的文件夹下面，与scrapy.cfg在同一个目录，然后执行scrapy crawl [指定qutes]

3.学习selenium+scrapy时，如果需要启动某个浏览器，需要下载对应浏览器的驱动，我使用的是chrome，所以下载的是chromewebdriver，下载地址是：

     https://sites.google.com/a/chromium.org/chromedriver/downloads

4.好像selenium无法识别系统级的桌面，例如另存为，所以我们可以下载autoit，再续

5.遭遇scrapy突然启动不了，出现各种失败信息，基本上都是python27 32位或者64位这种版本错误，可解决的办法是根据报的错误进行卸载，命令：pip uninstall 【安装包名】，然后利用pip install scrapy自动安装，这时还需要注意需要将缓存安装包卸载掉以免使用了无效的包。

6.遭遇以下错误，是因为未安装与python版本匹配pywin32，如本机是python2.7,32位，则安装：https://sourceforge.net/projects/pywin32/?source=typ_redirect

 

转载于:https://my.oschina.net/u/3235746/blog/828673