Scrapy`把一些基础的东西封装好了,在他上面写爬虫可以变的更加的高效(爬取效率和开发效率),下面简单介绍一下Windows环境下scrapy的安装方法
首先我们打开python3对应的虚拟环境
lsvirtualenv查看虚拟环境
workon+虚拟环境名进入虚拟环境
cd virtualenv
pip install pypiwin32
然后我们需要安装Twisted
首先我们需要手动下载指定Windows系统版本和python版本的Twisted
官网如下:
www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
进入Twiseted选项:
Twisted: an event-driven networking engine.
Twisted‑19.10.0‑cp38‑cp38‑win_amd64.whl
Twisted‑19.10.0‑cp38‑cp38‑win32.whl
Twisted‑19.10.0‑cp37‑cp37m‑win_amd64.whl
Twisted‑19.10.0‑cp37‑cp37m‑win32.whl
Twisted‑19.10.0‑cp36‑cp36m‑win_amd64.whl
Twisted‑19.10.0‑cp36‑cp36m‑win32.whl
Twisted‑19.10.0‑cp35‑cp35m‑win_amd64.whl
Twisted‑19.10.0‑cp35‑cp35m‑win32.whl
Twisted‑19.10.0‑cp27‑cp27m‑win_amd64.whl
Twisted‑19.10.0‑cp27‑cp27m‑win32.whl
Twisted‑18.9.0‑cp34‑cp34m‑win_amd64.whl
Twisted‑18.9.0‑cp34‑cp34m‑win32.whl
进行下载,复制到指定英文目录下
接着进入该目录执行:
pip install Twisted(版本名)
然后执行pip install scrapy这样就安装好了
cmd窗口创建scrapy项目
首先进入项目指定目录
然后执行scrapy startproject +项目名称即可