目录
5-2 Project-only commands 命令测试
一、基础介绍
Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
Scrapy 是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞(又名异步)的代码来实现并发。整体架构大致如下
1-1 基本结构
- Scrapy Engine(引擎): 负责控制所有组件之间的中间的通讯,信号、数据传递等,并在某些动作发生时触发事件。(组件:Spider、ItemPipeline、Downloader、Scheduler)
- Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
- Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,
- Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器).或者发送新的请求
- Item Pipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方。
- Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。主要用来处理从EGINE传到DOWLOADER的请求request,已经从DOWNLOADER传到EGINE的响应response
- 你可用该中间件做以下几件事
- process a request just before it is sent to the Downloader (i.e. right before Scrapy sends the request to the website); 在发送到下载程序之前处理请求(即在Scrapy将请求发送到网站之前);
- change received response before passing it to a spider; 更改在将其传递给爬行器之前接收到响应;
- send a new Request instead of passing received response to a spider; 发送一个新请求,而不是将接收到的响应传递给爬行器;
- pass response to a spider without fetching a web page; 将响应传递给爬行器而不获取web页面;
- silently drop some requests. 悄悄地删除一些请求。
- Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)
1-2 基本流程
1.引擎从spider获取初始爬行请求。
2.引擎在调度程序中调度请求,并请求下一个要爬行的请求。
3.调度程序将下一个请求返回到引擎。
4.引擎将请求发送到下载器,并通过下载器中间件(请参见process_request())。
5.一旦页面完成下载,下载器将生成响应(使用该页面),并将其发送到引擎,并通过下载器中间软件(请参见process_response())。
6.引擎接收下载器的响应并将其发送给spider进行处理,并通过spider中间件进行处理(请参见process_spider_input())。
7.spider处理响应,并通过spider中间件(请参见process_spider_output())向引擎返回刮掉的项目和新请求(后续)。
8.引擎将已处理的项目发送到项目管道,然后将已处理的请求发送到计划程序,并请求可能的下一个请求进行爬网。
9.该过程重复(从步骤1开始),直到调度程序不再发出请求。
二、安装方式
2-1 基于windows下的安装
!!!注意!!!:尽量安装在python3真实环境下,虚拟环境下操作会导致无法在终端直接使用scrapy
2-1-0 安装流程
- pip3 install wheel - 安装后,便支持通过wheel文件安装软件,wheel文件官网
- pip3 install lxml
- pip3 install pyopenssl
- 下载并安装 pywin32:https://github.com/mhammond/pywin32/releases
- 下载 twisted 的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- 执行pip3 install 下载目录\Twisted-18.9.0-cp36-cp36m-win_amd64.whl
- 安装 scrapy - pip3 install scrapy
2-1-0 pywin32安装
2-1-1 基于twisted的wheel文件安装流程
Twisted模块直接安装,肯定是会报错的
在这个辅助库网站(下载whell文件地址)中搜索Twisted模块,然后根据python版本下载版本对应版本
python 3.6.2 选择下载 Twisted-17.9.0-cp36-cp36m-win_amd64.whl
下载另存为指定目录下,pip3 install 指定绝对路径\Twisted17.9.0cp36cp36mwin32.whl
2-2 安装成功显示
三、项目启动
3-1 startproject 项目名
3-2 项目目录结构
- 项目文件夹(默认生产)
- scrapy.cfg - 项目主配置信息,用来部署scrapy;爬虫相关配置信息位于settings.py文件
- 项目核心目录
- spiders - 爬虫目录,编写爬虫规则文件
- 注意:一般创建爬虫文件时,使用网站域名命名
- items.py - 数据存储模板,用于结构化数据 - 类同于Django框架的Model
- middlewares.py - 中间件文件
- pipelines.py - 数据处理行为,如:一般结构化的数据持久化
- settings.py - 爬虫相关的配置文件,如:递归层数、并发数、延迟下载等
- 注意:配置文件的选项必须全部大写,否则视为无效
3-3 配置使用pycharm执行爬虫文件
3-3-0 在pycharm终端运行爬虫文件
crapy爬虫的运行需要到命令行下运行,在pychram中左下角有个Terminal,点开就可以在Pycharm下进入命令行
默认是在项目目录下的,要运行项目,需要进入下一层目录,使用cd myscrapy 进入下一层目录
然后用scrapy crawl 爬虫名 , 即可运行爬虫。
3-3-1 执行文件运行爬虫文件
注意:默认只能在cmd中执行爬虫
# pycharm执行爬虫配置:在项目目录下新建:entrypoint.py from scrapy.cmdline import execute execute(['scrapy', 'crawl', 'baidu']) # execute(['scrapy', 'crawl', '爬虫文件名'])
四、scrapy的cmd命令总结
4-0 命令行总结
4-1-0 查看帮助
- scrapy -h
- scrapy <command> -h
4-1-1 两种命令方式
注意:Project-only必须切到项目文件夹下才能执行,而Global的命令则不需要
- Global commands
- startproject # 创建项目
- genspider # 创建爬虫程序
- settings # 如果是在项目目录下,则得到的是该项目的配置
- runspider # 运行一个独立的python文件,不必创建项目
- shell # scrapy shell url地址 在交互式调试,如选择器规则正确与否
- fetch # 独立于程单纯地爬取一个页面,可以拿到请求头
- view # 下载完毕后直接弹出浏览器,以此可以分辨出哪些数据是ajax请求
- version # scrapy version 查看scrapy的版本,scrapy version -v查看scrapy依赖库的版本
- Project-only commands
- crawl # 运行爬虫,必须创建项目才行,确保配置文件中ROBOTSTXT_OBEY = False
- check # 检测项目中有无语法错误
- list # 列出项目中所包含的爬虫名
- edit # 编辑器,一般不用
- parse # scrapy parse url地址 --callback 回调函数 #以此可以验证我们的回调函数是否正确
- bench # scrapy bentch压力测试
五、基于cmd的简单爬虫测试
5-1 Global commands 命令测试
- 创建scrapy框架项目 -- !注意!:请确保不在某个项目的目录下,排除受该项目配置的影响
- scrapy startproject MyProject
- 进入项目目录,创建爬虫程序
- cd MyProject
- scrapy genspider baidu www.baidu.com
- 查看项目的配置
- scrapy settings --get BOT_NAME # 如果切换到项目目录下,看到的则是该项目的配置
- 执行爬虫文件
- scrapy runspider baidu.py
- 在交互模式下测试请求地址
- scrapy shell https://www.baidu.com
- response
- response.status
- response.body
- view(response)
- view 下载完毕后直接弹出浏览器,以此可以分辨出哪些数据是ajax请求
- scrapy view https://www.taobao.com
- 如果页面显示内容不全,不全的内容则是ajax请求实现的,以此快速定位问题
- fetch 独立于程单纯地爬取一个页面,可以拿到请求头 - nolog 不输出日志
- scrapy fetch --nolog http://www.baidu.com
- scrapy fetch --nolog --headers https://www.taobao.com
- scrapy的版本查看
- scrapy version
- 依赖库的版本查看
- scrapy version -v
5-2 Project-only commands 命令测试
!!!注意:切到项目目录下
- scrapy crawl baidu - 运行名为baidu的爬虫文件
- scrapy check - 检测项目中是否存在语法错误
- scrapy list - 列出项目内所包含的爬虫名
- scrapy parse http://quotes.toscrape.com/ --callback parse - 验证回调函数是否正确
- scrapy bench - 压力测试