数据流:
上图显示了Scrapy框架的体系结构及其组件,以及系统内部发生的数据流(由红色的箭头显示。)
Scrapy中的数据流由执行引擎控制,流程如下:
首先从网页爬虫获取初始的请求
将请求放入调度模块,然后获取下一个需要爬取的请求
调度模块返回下一个需要爬取的请求给引擎
引擎将请求发送给下载器,依次穿过所有的下载中间件
一旦页面下载完成,下载器会返回一个响应包含了页面数据,然后再依次穿过所有的下载中间件。
引擎从下载器接收到响应,然后发送给爬虫进行解析,依次穿过所有的爬虫中间件
爬虫处理接收到的响应,然后解析出item和生成新的请求,并发送给引擎
引擎将已经处理好的item发送给管道组件,将生成好的新的请求发送给调度模块,并请求下一个请求
该过程重复,直到调度程序不再有请求为止。
二.组件介绍
Scrapy Engine(引擎)
引擎负责控制系统所有组件之间的数据流,并在发生某些操作时触发事件。
scheduler(调度器)
调度程序接收来自引擎的请求,将它们排入队列,以便稍后引擎请求它们。
Downloader(下载器)
下载程序负责获取web页面并将它们提供给引擎,引擎再将它们提供给spider。
spider(爬虫)
爬虫是由用户编写的自定义的类,用于解析响应,从中提取数据,或其他要抓取的请求。
Item pipeline(管道)
管道负责在数据被爬虫提取后进行后续处理。典型的任务包括清理,验证和持久性(如将数据存储在数据库中)
2.1下载中间件
下载中间件是位于引擎和下载器之间的特定的钩子,它们处理从引擎传递到下载器的请求,以及下载器传递到引擎的响应。
如果你要执行以下操作之一,请使用Downloader中间件:
在请求发送到下载程序之前处理请求(即在scrapy将请求发送到网站之前)
在响应发送给爬虫之前
直接发送新的请求,而不是将收到的响应传递给蜘蛛
将响应传递给爬行器而不获取web页面;
默默的放弃一些请求
2.2爬虫中间件
爬虫中间件是位于引擎和爬虫之间的特定的钩子,能够处理传入的响应和传递出去的item和请求。
如果你需要以下操作请使用爬虫中间件:
处理爬虫回调之后的 请求或item
处理start_requests
处理爬虫异常
根据响应内容调用errback而不是回调请
简单使用
三.项目命令
3.1创建项目:
scrapy startproject <project_name> [project_dir]
ps: “<>”表示必填 ,”[]”表示可选
scrapy startproject db
都是db
3.2cd 到项目下
scrapy genspider [options]
scrapy genspider example example.com
会创建在项目/spider下 ;其中example 是爬虫文件名, example.com 是 url
3.3.运行项目
scrapy crawl 爬虫文件名 #注重流程
3.4.setting 里配置
ROBOTSTXT_OBEY;DEFAULT_REQUEST_HEADERS
ROBOTSTXT_OBEY = False
DEFAULT_REQUEST_HEADERS = {
‘Accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8’,
‘Accept-Language’: ‘en’,
“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36”
}
四.shell 交互式平台
scrapy shell url (start_url) 获取我们项目中的response
测试 xpath进行匹配
4.1目标数据要求:
250个电影信息
电影信息为:电影名字,导演信息(可以包含演员信息),评分
将电影信息直接本地保存
将电影信息通过管道进行保存
4.2爬虫文件
# -\*- coding: utf-8 -\*-
import json
import scrapy
from ..items import DbItem #是一个安全的字典
class Db250Spider(scrapy.Spider):#继承基础类
name = 'db250' #爬虫文件名字 必须存在且唯一
# allowed\_domains = ['movie.douban.com'] #允许的域名 可以不存在 不存在 任何域名都可以
start_urls = ['https://movie.dou.com/top250']#初始url 必须要存在
page_num=0
def parse(self, response):#解析函数 处理响应数据
node_list=response.xpath('//div[@class="info"]')
with open("film.txt","w",encoding="utf-8") as f:
for node in node_list:
#电影名字
# extract 新的知识
film_name=node.xpath("./div/a/span/text()").extract()[0]
#导演信息
director_name=node.xpath("./div/p/text()").extract()[0].strip()
#评分
score=node.xpath('./div/div/span[@property="v:average"]/text()').extract()[0]
#非管道存储
item={}
item["item\_pipe"]=film_name
item["director\_name"]=director_name
item["score"]=score
content=json.dumps(item,ensure_ascii=False)
f.write(content+"\n")
#使用管道存储
item_pipe=DbItem() #创建Dbitem对象 当成字典来使用
item_pipe['film\_name']=film_name
item_pipe['director\_name']=director_name
item_pipe['score']=score
yield item_pipe
#发送新一页的请求
#构造url
self.page_num += 1
if self.page_num==3:
return
page_url="https://movie.douban.com/top250?start={}&filter=".format(self.page_num\*25)
yield scrapy.Request(page_url)
#page页规律
"https://movie.dou.com/top250?start=25&filter="
"https://movie.dou.com/top250?start=50&filter="
"https://movie.dou.com/top250?start=75&filter="
4.3items文件
import scrapy
class DbItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
film_name=scrapy.Field()
director_name=scrapy.Field()
score=scrapy.Field()
4.4piplines文件
import json
class DbPipeline(object):
def open\_spider(self,spider):
#爬虫文件开启,此方法执行
self.f=open("film\_pipe.txt","w",encoding="utf-8")
def process\_item(self, item, spider):
json_data=json.dumps(dict(item),ensure_ascii=False)+"\n"
self.f.write(json_data)
return item
def close\_spider(self,spider):
# 爬虫文件关闭,此方法执行
self.f.close() #关闭文件
4.5settings文件
# -\*- coding: utf-8 -\*-
# Scrapy settings for db project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
# https://docs.scrapy.org/en/latest/topics/settings.html
# https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
# https://docs.scrapy.org/en/latest/topics/spider-middleware.html
BOT_NAME = 'db'
SPIDER_MODULES = ['db.spiders']
NEWSPIDER_MODULE = 'db.spiders'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER\_AGENT = 'db (+http://www.yourdomain.com)'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Configure maximum concurrent requests performed by Scrapy (default: 16)
#CONCURRENT\_REQUESTS = 32
# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
#DOWNLOAD\_DELAY = 3
# The download delay setting will honor only one of:
#CONCURRENT\_REQUESTS\_PER\_DOMAIN = 16
#CONCURRENT\_REQUESTS\_PER\_IP = 16
# Disable cookies (enabled by default)
#COOKIES\_ENABLED = False
# Disable Telnet Console (enabled by default)
#TELNETCONSOLE\_ENABLED = False
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,\*/\*;q=0.8',
'Accept-Language': 'en',
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
}
# Enable or disable spider middlewares
# See https://docs.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER\_MIDDLEWARES = {
# 'db.middlewares.DbSpiderMiddleware': 543,
#}
# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#DOWNLOADER\_MIDDLEWARES = {
# 'db.middlewares.DbDownloaderMiddleware': 543,
#}
# Enable or disable extensions
# See https://docs.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
# 'scrapy.extensions.telnet.TelnetConsole': None,
#}
# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'db.pipelines.DbPipeline': 300,
}
# Enable and configure the AutoThrottle extension (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE\_ENABLED = True
# The initial download delay
#AUTOTHROTTLE\_START\_DELAY = 5
# The maximum download delay to be set in case of high latencies
#AUTOTHROTTLE\_MAX\_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
#AUTOTHROTTLE\_TARGET\_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
#AUTOTHROTTLE\_DEBUG = False
# Enable and configure HTTP caching (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
#HTTPCACHE\_ENABLED = True
#HTTPCACHE\_EXPIRATION\_SECS = 0
#HTTPCACHE\_DIR = 'httpcache'
#HTTPCACHE\_IGNORE\_HTTP\_CODES = []
#HTTPCACHE\_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
五.项目注意事项
settings文件中 项目默认的是 ROBOTSTXT_OBEY = True,即遵循robots协议,则不能爬取到数据
则更改为 ROBOTSTXT_OBEY = False
settings中,有些网站需要添加User-Agent ,才能获取到数据 (伪装成客户端)
settings中,需要将管道打开,才可以将数据传递到pipelines文件中
items中需要设置相应的字段,使用Item对象传递数据,(可以理解为mysql先定义字段,才能写入数据一样)
六.scrapy shell
# Scrapy shell
[s] Available Scrapy objects:
[s] scrapy scrapy module (contains scrapy.Request, scrapy.Selector, etc) #scrapy 模块
[s] crawler <scrapy.crawler.Crawler object at 0x000002624C415F98> #爬虫对象
[s] item {} #item对象
[s] request <GET https://movie.douban.com/top250> # 请求对象
[s] response <200 https://movie.douban.com/top250> #响应对象
[s] settings <scrapy.settings.Settings object at 0x000002624C415EB8> #配置文件
[s] spider <DefaultSpider 'default' at 0x2624c8ed3c8> #spider文件
[s] Useful shortcuts:
[s] fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed) #通过url 获取response
[s] fetch(req) Fetch a scrapy.Request and update local objects #通过请求对象 获取response
[s] shelp() Shell help (print this help) #列出命令
[s] view(response) View response in a browser #response 界面 本地浏览器环境下使用
七.选择器
html_str="""
<div class="info">
<div class="hd">
<a href="https://movie.douban.com/subject/1292052/" class="">
<span class="title">肖申克的救赎</span>
<span class="title"> / The Shawshank Redemption</span>
<span class="other"> / 月黑高飞(港) / 刺激1995(台)</span>
</a>
<span class="playable">[可播放]</span>
</div>
<div class="bd">
<p class="">
导演: 弗兰克·德拉邦特 Frank Darabont 主演: 蒂姆·罗宾斯 Tim Robbins /...<br>
1994 / 美国 / 犯罪 剧情
</p>
<div class="star">
<span class="rating5-t"></span>
<span class="rating\_num" property="v:average">9.7</span>
<span property="v:best" content="10.0"></span>
<span>1980500人评价</span>
</div>
<p class="quote">
<span class="inq">希望让人自由。</span>
</p>
</div>
</div>
</div>
"""
from scrapy.selector import Selector
#1.通过text 参数来构造对象
selc_text=Selector(text=html_str)
# print(selc\_text.xpath('//div[@class="info"]//div/a/span/text()').extract()[0])
# print(selc\_text.xpath('./body/div[@class="info"]//div/a/span/text()').extract()[0])
# print(selc\_text.xpath('//div[@class="info"]//div/a/span/text()').extract\_first())
#2.通过 response 构造selector对象
from scrapy.http import HtmlResponse
response=HtmlResponse(url="http://www.example.com",body=html_str.encode())
Selector(response=response)
# print(response.selector.xpath('//div[@class="info"]//div/a/span/text()').extract()[0])
# print(response.xpath('//div[@class="info"]//div/a/span/text()').extract()[0])
#3.嵌套表达式 selector 可以任意使用 css xpath re
# print(response.css("a").xpath('./span[1]/text()').extract()[0])
print(response.css("a").xpath('./span[1]/text()').re("的..")[0])
print(response.css("a").xpath('./span[1]/text()').re_first("的.."))
次级页面抓取及数据传递拼接(电影)
1.详情页抓取(次级页面) 的主要方法是get_detail 方法
def get\_detail(self,response):
pass
2.参数的传递拼接 的关键参数是 meta参数
spider文件
# -\*- coding: utf-8 -\*-
import json
import scrapy
from ..items import DbItem #是一个安全的字典
class Db250Spider(scrapy.Spider):#继承基础类
name = 'db250' #爬虫文件名字 必须存在且唯一
# allowed\_domains = ['movie.douban.com'] #允许的域名 可以不存在 不存在 任何域名都可以
start_urls = ['https://movie.dou.com/top250']#初始url 必须要存在
page_num=0
def parse(self, response):#解析函数 处理响应数据
node_list=response.xpath('//div[@class="info"]')
for node in node_list:
#电影名字
film_name=node.xpath("./div/a/span/text()").extract()[0]
#导演信息
director_name=node.xpath("./div/p/text()").extract()[0].strip()
#评分
score=node.xpath('./div/div/span[@property="v:average"]/text()').extract()[0]
#使用管道存储
item_pipe=DbItem() #创建Dbitem对象 当成字典来使用
item_pipe['film\_name']=film_name
item_pipe['director\_name']=director_name
item_pipe['score']=score
# yield item\_pipe
# print("电影信息",dict(item\_pipe))
# 电影简介
detail_url = node.xpath('./div/a/@href').extract()[0]
yield scrapy.Request(detail_url,callback=self.get_detail,meta={"info":item_pipe})
#发送新一页的请求
#构造url
self.page_num += 1
if self.page_num==4:
return
page_url="https://movie.douban.com/top250?start={}&filter=".format(self.page_num\*25)
yield scrapy.Request(page_url)
def get\_detail(self,response):
item=DbItem()
#解析详情页的response
#1.meta 会跟随response 一块返回 2.通过response.meta接收 3.通过update 添加到新的item对象中
info = response.meta["info"]
item.update(info)
#简介内容
description=response.xpath('//div[@id="link-report"]//span[@property="v:summary"]/text()').extract()[0].strip()
# print('description',description)
item["description"]=description
#通过管道保存
yield item
#目标数据 电影信息+ 获取电影简介数据 次级页面的网页源代码里
#请求流程 访问一级页面 提取电影信息+次级页面的url 访问次级页面url 从次级的数据中提取电影简介
#存储的问题 数据没有次序 需要使用 meta传参 保证 同一电影的信息在一起
八.items文件
import scrapy
class DbItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
film_name=scrapy.Field()
director_name=scrapy.Field()
score=scrapy.Field()
description=scrapy.Field()
九.pipelines 文件
import json
class DbPipeline(object):
def open\_spider(self,spider):
#爬虫文件开启,此方法执行
self.f=open("film\_pipe.txt","w",encoding="utf-8")
def process\_item(self, item, spider):
json_data=json.dumps(dict(item),ensure_ascii=False)+"\n"
self.f.write(json_data)
return item
def close\_spider(self,spider):
# 爬虫文件关闭,此方法执行
self.f.close() #关闭文件
十.settings 文件
此处删除了大部分注释
# -\*- coding: utf-8 -\*-
# Scrapy settings for db project
BOT_NAME = 'db'
SPIDER_MODULES = ['db.spiders']
NEWSPIDER_MODULE = 'db.spiders'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER\_AGENT = 'db (+http://www.yourdomain.com)'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,\*/\*;q=0.8',
'Accept-Language': 'en',
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
}
**(1)Python所有方向的学习路线(新版)**
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
![在这里插入图片描述](https://img-blog.csdnimg.cn/1f807758e039481fa866130abf71d796.png#pic_center)
**(2)Python学习视频**
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
![在这里插入图片描述](https://img-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)
**(3)100多个练手项目**
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
![在这里插入图片描述](https://img-blog.csdnimg.cn/f5aeb4050ab547cf90b1a028d1aacb1d.png#pic_center)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友,可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
![在这里插入图片描述](https://img-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)
**(3)100多个练手项目**
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
![在这里插入图片描述](https://img-blog.csdnimg.cn/f5aeb4050ab547cf90b1a028d1aacb1d.png#pic_center)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友,可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**