《Python网络爬虫与信息提取》第四周 网络爬虫之框架 学习笔记（一）Scrapy爬虫框架

目录

一、Scrapy爬虫框架

1、Scrapy爬虫框架介绍

（1）Scrapy的定义

（2）Scrapy的安装

（3）Scrapy爬虫框架结构

2、Scrapy爬虫框架解析

（1）Scrapy爬虫框架结构

（2）五个模块

（3）两个中间键

3、requests库和Scrapy爬虫的比较

（1）相同点

（2）不同点

（3）选用哪个技术路线开发爬虫

4、Scrapy爬虫的常用命令

（1）Scrapy命令行

（2）Scrapy命令行格式

（3）Scrapy常用命令

（4）Scrapy爬虫的命令行逻辑

---

一、Scrapy爬虫框架

1、Scrapy爬虫框架介绍

（1）Scrapy的定义

功能强大的网络爬虫框架。

（2）Scrapy的安装

管理员权限启动cmd。

输入：

pip install scrapy

备注：在使用pip的时候，在后面加上-i参数，指定pip源。

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

安装后小测：

scrapy-h

备注：原来的Scrapy的安装方法不实用；故采用以下的安装方法。

①首先安装Anaconda。（https://blog.csdn.net/wyatt007/article/details/80369755）

②管理员权限启动Anoconda Prompt，输入conda install scrapy。

③稍等片刻，按回车键。

④出现Proceed，输入y，按回车键。

⑤输入conda list，发现有scrapy，说明安装成功。

（3）Scrapy爬虫框架结构

scrapy不是一个函数功能库，而是一个爬虫框架。

①爬虫框架：爬虫框架是实现爬虫功能的一个软件结构和功能组件集合；爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。

②“5+2”结构：

过程：

1：Engine从Spiders处获得爬取请求（Requests）。

2