【爬虫】python爬虫工具scrapy的安装使用

关于使用方法及教程参考如下：

Scrapy中文官方入门教程

本文章的安装环境如下

window10 python3.X

文中使用的是python3.5，安装方法如下

第一步，安装pypiwin32

pip install pypiwin32

第二步，安装Twisted

首先，安装前查看当前python版本

python -V

可以看到我的python版本是3.5.2，并且window系统是64位，然后打开网址，搜索Twisted关键字

若打不开网址，并且python版本和我一样是3.5的，我已经上传，点击下面下载

Twisted-18.9.0-cp35-cp35m-win_amd64.whl

下载网址：

https://www.lfd.uci.edu/~gohlke/pythonlibs/

 

可以看到Twisted有多个下载版本选择，因为我安装的python版本是3.5.2，所以选择cp35，同时因为操作系统是64位，所以选择win_amd64，故选择如下：

文件下载完成后，复制文件到桌面，打开cmd，进入到desktop目录

输入

pip install Twisted-18.9.0-cp35-cp35m-win_amd64.whl

即可安装成功

第三步，安装Scrapy

pip install Scrapy

安装完成后，使用scrapy startproject tutorial命令初始化项目

scrapy startproject tutorial

初始化完成后，目录如下：

tutorial/     scrapy.cfg     tutorial/         __init__.py         items.py         pipelines.py         settings.py         spiders/             __init__.py             ...

这些文件分别是:

scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.