解决初次使用Scrapy的问题

1、安装Scrapy

使用命令

pip install scrapy

安装。安装过程中出现以下错误：

解决办法：

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载对应的twisted版本。cp后面表示的是python版本，amd64代表64位

使用命令

pip install C:\Users\Administrator\Downloads\Twisted-19.2.0-cp37-cp37m-win_amd64.whl

其中install后面是Twisted的绝对路径

再次执行pip install scrapy即可成功

 

2、运行Demo

我是先建立了一个python工程，然后在工程目录下执行了scrapy startproject lianjia，产生了如下目录结构:

在spiders目录下增加了名称为lianjia的spider。

错误1

进入根目录scrapyDemo后，运行scrapy crawl lianjia，报错Unknown command: crawl。

经过查阅资料，发现应该进入到scrapyDemo\lianjia路径后，再执行scrapy crawl lianjia即可。

错误2

进入scrapyDemo\lianjia路径后，执行scrapy crawl lianjia又出现如下错误，缺少模块win32api

使用命令pip install pypiwin32安装即可