python scapy是什么_Python之初识Scrapy框架

今天带大家了解下 Scrapy 框架，先解答三个问题：什么是 Scrapy 框架呢？它有什么作用呢？为什么需要使用它？

Scrapy 是 Python 开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取 web 站点并从页面中提取结构化的数据。

Scrapy 用途广泛，可以用于数据挖掘、监测和自动化测试。

为什么需要使用它？Scrapy 是一个写好的框架，不用重复造轮子，scapy 底层是异步框架 twisted ，吞吐量高，并发是最大优势。

Scrapy 安装

我电脑上同时装了 py2 和 py3，在 py3 环境里安装 Scrapy，使用以下命令。

创建爬虫项目

创建储存 scrapy 文件夹 scrapypy3，cd 进入到路径，用 scrapy startproject 命令新建项目。

Scrapy 项目目录结构

新建的爬虫项目文件有以下部分组成，将整个文件在编辑器 Pycharm 中打开看得很明显，文件后面我做了中文解释。

创建项目参数

刚才用 scrapy startproject 创建了爬虫项目，创建的时候我们也可以加入一些参数，具体有哪些参数呢？我们可以在命令行通过 scrapy startproject -h查看，以下常见的命令给出了相应的中文注释。

常用工具命令

Scrapy 中，工具命令分为两种，一种为全局命令，一种为项目命令。

全局命令

在不进入Scrapy 爬虫项目所在目录的情况下，运行 scrapy -h，在commands下会出现所有的全局命令。

项目命令

首先进入一个已经创建的 Scrapy 爬虫项目，运行 scrapy -h 显示项目中可用命令。在展示出来的命令中，包括了上面讲到的全局命令。全局命令既可以在非 Scrapy 爬虫项目文件夹中使用，同时也可以在 Scrapy 爬虫项目文件夹中使用，而 Scrapy 项目命令一般只能在 Scrapy 爬虫项目文件夹中使用。去掉全局命令，剩下的就是Scrapy项目命令。

所以，Scrapy 的项目命令主要有：bench、check、crawl、edit、genspider、list、parse。

这篇文章给大家讲了下 Scrapy 框架的安装和常用的命令，这只是初步了解，之后会在实战中使用，项目实战才是我们的最终目的。

此文章对你有点帮忙的话希望大家能多给点支持，关注、点赞、转发都是对我的一种支持，有什么问题欢迎评论留言。