win7 下安装scrapy遇的坑

2019独角兽企业重金招聘Python工程师标准>>>

一. 安装

由于scrapy进行网络抓取的便捷与强大功能，准备在win7下安装该框架，但遇到很多麻烦。 开始时安装的是Python3.5 ，利用pip工具安装，但总是遇到各种下载不下来的问题，怀疑版本过高，scrapy的安装依赖太多其他基础库，而基础库某些可能没有最近版本，故重新安装Python2.7 安装完Python2.7后，直接执行pip install scrapy 会发生如下错误： Cannot open include file: 'libxml/xpath.h': No such file or directory 解决方法： 1、安装wheel，在cmd中输入：pip install wheel 2、下载依赖库，可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下载　 　我下载的是lxml-3.6.0.win32-py2.7.exe，直接执行即可，也下载了其他版本，均不成功，是到这个才算可以。每个人的版本需求可能有所差异 再次执行 pip install scrapy 即可完成安装。

二. 使用

在初步使用scrapy框架时，也出现一些问题： scrapy startproject tutorial 建立初始框架，编写好基本文件后，执行 scrapy crawl dmoz 遇到问题报错如下： no module named win32api 既然缺少，那就添加上，连接如下 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 我下载的版本为pywin32-220.win32-py2.7.exe（也是试出来的），直接执行，之前的报错即消失

转载于:https://my.oschina.net/fight123/blog/786827