举个粟子：
大一新生小明开学，他先到新生接待处等待，老学长学姐（管理人员）看到了就会上前询问你需要帮忙嘛？小明正愁不知道该干啥，就说我是来报道的大一新生，管理人员听了就会将你的信息进行排队，等排队到了小明之后，就会将这个号给到管理人员。
然后，管理人员将这个号给到报到处，报到处安排小明的在校信息，比如：班级，宿舍…并将这些信息返还给管理人员。管理人员得到之后会再将这些信息给小明这个大一新生，让小明核对下这些是不是自己所需的，经小明认真核对之后发现都是自己想要的，小明跟管理人员说：我已经确认过了就这样哦！
最后，管理人员就会将这些信息交到信息管理处进行存储。
注意：图中的弧线的意义：
如果，在小明拿到信息核对之后发现这些不是自己所需的，那么，小明就会告诉管理人员，这些不是我所要的，我要重新请求一下别的东西，然后管理人员就就会将小明进行重新排队！！！
（
spiders网页爬虫
items项目
engine引擎
scheduler调度器
downloader下载器
item pipelines项目管道
middleware中间设备，中间件
）
数据流：
上图显示了Scrapy框架的体系结构及其组件，以及系统内部发生的数据流（由红色的箭头显示。）
Scrapy中的数据流由执行引擎控制,流程如下：
首先从网页爬虫获取初始的请求
将请求放入调度模块，然后获取下一个需要爬取的请求
调度模块返回下一个需要爬取的请求给引擎
引擎将请求发送给下载器，依次穿过所有的下载中间件
一旦页面下载完成，下载器会返回一个响应包含了页面数据，然后再依次穿过所有的下载中间件。
引擎从下载器接收到响应，然后发送给爬虫进行解析，依次穿过所有的爬虫中间件
爬虫处理接收到的响应，然后解析出item和生成新的请求，并发送给引擎
引擎将已经处理好的item发送给管道组件，将生成好的新的请求发送给调度模块，并请求下一个请求
该过程重复，直到调度程序不再有请求为止。
中间件介绍:
(1)下载中间件
下载中间件是位于引擎和下载器之间的特定的钩子，它们处理从引擎传递到下载器的请求，以及下载器传递到引擎的响应。
如果你要执行以下操作之一，请使用Downloader中间件：
在请求发送到下载程序之前处理请求（即在scrapy将请求发送到网站之前）
在响应发送给爬虫之前
直接发送新的请求，而不是将收到的响应传递给蜘蛛
将响应传递给爬行器而不获取web页面;
默默的放弃一些请求
(2)爬虫中间件
爬虫中间件是位于引擎和爬虫之间的特定的钩子，能够处理传入的响应和传递出去的item和请求。
如果你需要以下操作请使用爬虫中间件：
处理爬虫回调之后的请求或item
处理start_requests
处理爬虫异常
根据响应内容调用errback而不是回调请求
Scrapy Engine(引擎)
引擎负责控制系统所有组件之间的数据流，并在发生某些操作时触发事件。
scheduler（调度器)
调度程序接收来自引擎的请求，将它们排入队列，以便稍后引擎请求它们。
Downloader（下载器)
下载程序负责获取web页面并将它们提供给引擎，引擎再将它们提供给spider。
spider（爬虫）
爬虫是由用户编写的自定义的类，用于解析响应，从中提取数据，或其他要抓取的请求。
Item pipeline（管道)
管道负责在数据被爬虫提取后进行后续处理。典型的任务包括清理，验证和持久性（如将数据存储在数据库中）
=====================================================================
（1）创建项目：
**（
小知识点：<>为必填项；[]为选填项！
小技巧1：pycharm终端输入scrapy可以查看一些帮助，有助于我们写那些难记的命令！
小技巧2：scrapy+命令关键字，可以查看有关于此命令的详细用法！
）**
1.首先：
cd+要放scrapy项目的文件夹路径
2.第二步：
通过scrapy命令可以很方便的新建scrapy项目。
语法格式：scrapy startproject <project_name> [project_dir]
该命令会在project_dir文件加下创建一个名为project_name的Scrapy新项目。如果project_dir没有指定，project_dir与project_name相同。
_执行命令：
scrapy startproject baidu
之后会在指定文件夹创建如下文件：_
（2）创建爬虫文件
{
创建一个bdSpider的类，它必须继承scrapy.Spider类，需要定义以下三个属性：
name: spider的名字，必须且唯一
start_urls: 初始的url列表
parse(self, response) 方法：每个初始url完成之后被调用。这个函数要完成一下两个功能：
解析响应，封装成item对象并返回这个对象
提取新的需要下载的url，创建新的request，并返回它
我们也可以通过命令创建爬虫
语法格式：scrapy genspider [-t template]
运行命令：scrapy genspider bd www.baidu.com
会在spiders文件下生成bd.py文件
}
1.首先：
cd 到项目下
2.第二步：
scrapy genspider [options]
scrapy genspider bd www.baidu.com
会创建在项目/spider下 ;其中bd 是爬虫文件名, www.baidu.com 是 url（域名）
**执行命令：
scrapy genspider bd www.baidu.com
之后再项目/spider下创建的文件为：**
-- coding: utf-8 --
import scrapy
class BdSpider(scrapy.Spider): #继承了scrapy.Spider类
name = ‘bd’ #名字是唯一的（不重复） 因为我们在启动项目的时候，是根据这个名字来找爬虫文件的
allowed_domains = [‘www.baidu.com’] #允许的域名 （限制） 可以没有这个限制！
start_urls = [‘http://www.baidu.com/’] #首个请求（必须要有） 不然开始都开始不了，怎么让整个框架运行下去呢！
def parse(self, response): #必须是parse函数 不可以乱改名 接收下载器下载的数据
print(“*******”) #用于更直观的观察框架能否正常运行！
print(“*******”)
print(“*******”)
print(“*******”)
print(“*******”)
print(“*******”)
print(response) #response对象
#获取数据 两种方法：
print(response.body.decode()) #获取到的是字节码形式
print(response.text)
注意：最后引擎给spider模块的数据就给到了函数parse里的形参response：
（3）运行爬虫文件
一步即可：
scrapy crawl [options]
其中spider是爬虫文件名
**执行命令：
scrapy crawl bd**
但是！我们运行爬虫文件之后，发现用于测试的print函数没有显示，经过检查终端输出的数据可知Scrapy框架是默认遵循robots协议的，所以咱们肯定获取不到数据了！！！
如何解决这个问题呢？
打开设置文件settings.py，将其中的以下代码更改为False即可！
Obey robots.txt rules
ROBOTSTXT_OBEY = True
拓展：第二种运行scrapy的方法！
cd 到爬虫模块spiders文件夹下，运行命令：
scrapy runspider 爬虫py文件名
注意：爬虫py文件名要带.py后缀！
高级拓展：（注意：以上两种运行scrapy框架的方法都无法进行debug，非常不方便！万一出问题了，岂不是很难找！！！所以：推出第三种启动scrapy框架的方法-----django在创建项目的时候自动生成一个启动项目的py文件【manage.py或者main.py】，而scrapy框架没有，但是我们可以自己定义呀！！！！！）
1.在项目文件夹下创建名为main.py或者manage.py的py文件：
2.在此py文件下编写代码如下：
from scrapy.cmdline import execute
import sys
import os
保证终端执行 “scrapy”, “crawl”, “bd” 这个命令运行不出现路径问题！（可以不写！）
sys.path.append(os.path.dirname(os.path.abspath(file)))
execute([“scrapy”, “crawl”, “bd”])
3.现在，我们可以直接运行这个py文件，会发现会和前两种方法一样运行scrapy框架；而且，强大的是：我们还可以通过debug此py文件达到调试此scrapy框架的作用！！！
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。
我先来介绍一下这些东西怎么用，文末抱走。
（1）Python所有方向的学习路线（新版）
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
最近我才对这些路线做了一下新的更新，知识体系更全面了。
（2）Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
（3）100多个练手项目
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。
（4）200多本电子书
这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。
基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。
（5）Python知识点汇总
知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。
（6）其他资料
还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。
这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。
小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
log.csdnimg.cn/9fa77af248b84885a6ec779b2ead064d.png)
这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。
小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-4IG2yTXW-1711013091375)]
167
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
