首先我的电脑是windows10,安装的python3.7(建议不要使用python2.x),爬虫框架使用的是Scrapy,本文便将详细记录我的Scrapy安装过程,主要目的是为了记录在安装过程中遇到的问题,毕竟好记性不如烂笔头。
一下所有操作全部基于 windows10操作系统,python3.7
1.打开windows控制台,输入python,确保python已经安装 ,然后切换到python下的scripts目录下
命令如下:
pip install scrapy
2.等待安装完成就行了,如果在安装过程中报错
Running setup.py install for Twisted ... error
上图报错原因是因为未安装Scrapy依赖库导致 下面我们将安装依赖库
先下载Twisted
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件(我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl),cp后面是python版本,amd64代表64位,
然后放到一个目录下,我的是直接复制到了scripts目录下
pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl
安装完成后再次安装scrpy,已成功。