「python」实用的Scrapy框架安装指南，开始你的第一个专案-第2篇

​

继「python」快速入门Scrapy框架的5个执行模组及架构——第一篇文章，了解Scrapy框架的5个主要模组相互之间的关系与执行流程后，本文将带大家在Windows环境中，安装Scrapy框架，并且提示可能会遇到的错误该如何解决，最后，建立属于您的第一个Scrapy专案，来一窥其中的档案结构。重点包含：

安装Scrapy框架

建立Scrapy专案

Scrapy专案结构

一、安装Scrapy框架

首先，Scrapy框架的安装方式，就像安装Python的套件(Package)一样，透过以下的指令即可进行安装：

$ pip install scrapy

由于Scrapy框架会需要Microsoft Visual C++ 14.0来进行编译，所以，在安装的过程中，如果发生以下的「Microsoft Visual C++ 14.0 is required」错误信息：

则需要前往其中所提示的网址来进行安装，也就是Microsoft Visual Studio下载的网页，如下图：

Microsoft Visual C++ 14.0对应到的是Visual Studio 2015，所以往下可以看到「旧版下载」的按钮，如下图：

接着，往下可以看到「可转散发套件及建置工具」，如下图：

因为我们仅需要Microsoft Visual C++ 14.0建置工具，所以并不需要安装整个Visual Studio 2015，点击「可转散发套件及建置工具」后，选择「Microsoft Build Tools 2015 Update 3」来下载，如下图：

下载完成，开启时会看到如下图的画面，直接点击安装即可：

安装后，就可以再次使用pip套件管理工具安装Scrapy框架，即可顺利安装。当然，如果一开始安装就成功，代表电脑环境符合Scrapy框架的所需条件，就无需进行Microsoft Visual C++ 14.0的安装步骤。

而要确认Scrapy框架是否有安装成功，可以先在命令提示字元视窗中输入scrapy指令，如下图：

其中有一个「bench」指令，用来快速执行Scrapy框架的基准测试，如下：

$ scrapy bench

执行后如果没有显示错误信息，代表安装成功。

二、建立Scrapy专案
Scrapy框架安装完成后，接下来，就可以建立Scrapy专案来开发网页爬虫。本文以新闻网页爬虫专案为例，在桌面先建立一个「news_scraper」资料夹，接着，开启Visual Studio Code，打开「news_scraper」资料夹，在Terminal视窗中即可利用以下的指令来建立Scrapy专案：

$ scrapy startproject 你的专案名称 .你的专案名称.

执行结果

以上指令的「.」意思是在目前的目录下，建立Scrapy专案。而执行结果则是告诉我们专案建立成功，并且引导如何开发第一个Python网页爬虫，这部分会在下一篇文章来和大家分享。

三、Scrapy专案结构
这时候，可以在「news_scraper」资料夹中看到Scrapy专案的档案结构：

其中各个档案的功能说明如下：

spiders资料夹：用来存放Python网页爬虫代码的地方。

items.py：定义想要爬取或储存的资料栏位。

middlewares.py：定义「spiders与引擎(ENGINE)中间件」及「引擎(ENGINE)与下载器(DOWNLOADER)中间件」。

pipelines.py：定义items资料的后续处理，像是清理、储存至资料库或档案等。

settings.py：Scrapy专案设定档。

scrapy.cfg：Scrapy专案部署设定档。

四、小结
经过本文的说明，相信大家都能够将Scrapy框架安装起来，另外，透过建立Scrapy专案的方式，来了解其中各个档案所负责的工作，将有助于未来在开发的过程中，能够得心应手，希望对于想学习Scrapy框架的读者有所帮助，也欢迎分享给身边有在学习Scrapy框架的朋友们，有碰到任何问题，欢迎在底下留言和我分享 ~