目录
5-2 Project-only commands 命令测试
一、基础介绍
Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下
1-1 基本结构
- Scrapy Engine(引擎): 负责控制所有组件之间的中间的通讯，信号、数据传递等，并在某些动作发生时触发事件。（组件：Spider、ItemPipeline、Downloader、Scheduler）
- Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
- Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
- Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器).或者发送新的请求
- Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
- Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的响应response
- 你可用该中间件做以下几件事
- process a request just before it is sent to the Downloader (i.e. right before Scrapy sends the request to the website); 在发送到下载程序之前处理请求(即在Scrapy将请求发送到网站之前);
- change received response before passing it to a spider; 更改在将其传递给爬行器之前接收到响应;
- send a new Request instead of passing received response to a spider; 发送一个新请求，而不是将接收到的响应传递给爬行器;
- pass response to a spider without fetching a web page; 将响应传递给爬行器而不获取web页面;
- silently drop some requests. 悄悄地删除一些请求。
- Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
1-2 基本流程
1.引擎从spider获取初始爬行请求。
2.引擎在调度程序中调度请求，并请求下一个要爬行的请求。
3.调度程序将下一个请求返回到引擎。
4.引擎将请求发送到下载器，并通过下载器中间件（请参见process_request（））。
5.一旦页面完成下载，下载器将生成响应（使用该页面），并将其发送到引擎，并通过下载器中间软件（请参见process_response（））。
6.引擎接收下载器的响应并将其发送给spider进行处理，并通过spider中间件进行处理（请参见process_spider_input（））。
7.spider处理响应，并通过spider中间件（请参见process_spider_output（））向引擎返回刮掉的项目和新请求（后续）。
8.引擎将已处理的项目发送到项目管道，然后将已处理的请求发送到计划程序，并请求可能的下一个请求进行爬网。
9.该过程重复（从步骤1开始），直到调度程序不再发出请求。
二、安装方式
2-1 基于windows下的安装
！！！注意！！！：尽量安装在python3真实环境下，虚拟环境下操作会导致无法在终端直接使用scrapy
2-1-0 安装流程
- pip3 install wheel - 安装后，便支持通过wheel文件安装软件，wheel文件官网
- pip3 install lxml
- pip3 install pyopenssl
- 下载并安装 pywin32：https://github.com/mhammond/pywin32/releases
- 下载 twisted 的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- 执行pip3 install 下载目录\Twisted-18.9.0-cp36-cp36m-win_amd64.whl
- 安装 scrapy - pip3 install scrapy
2-1-0 pywin32安装
2-1-1 基于twisted的wheel文件安装流程
Twisted模块直接安装，肯定是会报错的
在这个辅助库网站（下载whell文件地址）中搜索Twisted模块，然后根据python版本下载版本对应版本
python 3.6.2 选择下载 Twisted-17.9.0-cp36-cp36m-win_amd64.whl
下载另存为指定目录下，pip3 install 指定绝对路径\Twisted17.9.0cp36cp36mwin32.whl
2-2 安装成功显示
三、项目启动
3-1 startproject 项目名
3-2 项目目录结构
- 项目文件夹（默认生产）
- scrapy.cfg - 项目主配置信息，用来部署scrapy；爬虫相关配置信息位于settings.py文件
- 项目核心目录
- spiders - 爬虫目录，编写爬虫规则文件
- 注意：一般创建爬虫文件时，使用网站域名命名
- items.py - 数据存储模板，用于结构化数据 - 类同于Django框架的Model
- middlewares.py - 中间件文件
- pipelines.py - 数据处理行为，如：一般结构化的数据持久化
- settings.py - 爬虫相关的配置文件，如：递归层数、并发数、延迟下载等
- 注意：配置文件的选项必须全部大写，否则视为无效
3-3 配置使用pycharm执行爬虫文件
3-3-0 在pycharm终端运行爬虫文件
crapy爬虫的运行需要到命令行下运行，在pychram中左下角有个Terminal,点开就可以在Pycharm下进入命令行
默认是在项目目录下的，要运行项目，需要进入下一层目录，使用cd myscrapy 进入下一层目录
然后用scrapy crawl 爬虫名 ， 即可运行爬虫。
3-3-1 执行文件运行爬虫文件
注意：默认只能在cmd中执行爬虫
# pycharm执行爬虫配置：在项目目录下新建：entrypoint.py from scrapy.cmdline import execute execute(['scrapy', 'crawl', 'baidu']) # execute(['scrapy', 'crawl', '爬虫文件名'])
四、scrapy的cmd命令总结
4-0 命令行总结
4-1-0 查看帮助
- scrapy -h
- scrapy <command> -h
4-1-1 两种命令方式
注意：Project-only必须切到项目文件夹下才能执行，而Global的命令则不需要
- Global commands
- startproject # 创建项目
- genspider # 创建爬虫程序
- settings # 如果是在项目目录下，则得到的是该项目的配置
- runspider # 运行一个独立的python文件，不必创建项目
- shell # scrapy shell url地址 在交互式调试，如选择器规则正确与否
- fetch # 独立于程单纯地爬取一个页面，可以拿到请求头
- view # 下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求
- version # scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依赖库的版本
- Project-only commands
- crawl # 运行爬虫，必须创建项目才行，确保配置文件中ROBOTSTXT_OBEY = False
- check # 检测项目中有无语法错误
- list # 列出项目中所包含的爬虫名
- edit # 编辑器，一般不用
- parse # scrapy parse url地址 --callback 回调函数 #以此可以验证我们的回调函数是否正确
- bench # scrapy bentch压力测试
五、基于cmd的简单爬虫测试
5-1 Global commands 命令测试
- 创建scrapy框架项目 -- ！注意！：请确保不在某个项目的目录下，排除受该项目配置的影响
- scrapy startproject MyProject
- 进入项目目录，创建爬虫程序
- cd MyProject
- scrapy genspider baidu www.baidu.com
- 查看项目的配置
- scrapy settings --get BOT_NAME # 如果切换到项目目录下，看到的则是该项目的配置
- 执行爬虫文件
- scrapy runspider baidu.py
- 在交互模式下测试请求地址
- scrapy shell https://www.baidu.com
- response
- response.status
- response.body
- view(response)
- view 下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求
- scrapy view https://www.taobao.com
- 如果页面显示内容不全，不全的内容则是ajax请求实现的，以此快速定位问题
- fetch 独立于程单纯地爬取一个页面，可以拿到请求头 - nolog 不输出日志
- scrapy fetch --nolog http://www.baidu.com
- scrapy fetch --nolog --headers https://www.taobao.com
- scrapy的版本查看
- scrapy version
- 依赖库的版本查看
- scrapy version -v
5-2 Project-only commands 命令测试
！！！注意：切到项目目录下
- scrapy crawl baidu - 运行名为baidu的爬虫文件
- scrapy check - 检测项目中是否存在语法错误
- scrapy list - 列出项目内所包含的爬虫名
- scrapy parse http://quotes.toscrape.com/ --callback parse - 验证回调函数是否正确
- scrapy bench - 压力测试
3024
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
