关于scrapy里response拼接urljoin属性的理解

最新推荐文章于 2023-05-15 21:04:32 发布
最新推荐文章于 2023-05-15 21:04:32 发布
阅读量5.3k 收藏 18
点赞数 10
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47420595/article/details/106933543
版权

因为爬虫必须要翻页，那么url链接上需要加载新的参数或者值，拼接的方法有不少，如果不是动态jajx的，而是静态的有规律的url翻页地址的话，用urljoin非常方便

起始值（url）

    next_page_url = response.xpath('...').extract() #搞到拼接的变动的参数内容
    if next_page_url is not None:
        yield scrapy.Request(response.urljoin(next_page_url))

分析这句话：yield scrapy.Request(response.urljoin(next_page_url))

response.urljoin(next_page_url)整体是一个参数，作为一个url的链接传入函数scrapy.Request（yield这个函数可以爬取新的下一页的链接）

response.urljoin(next_page_url)这个怎么解释呢，就是next_page_url作为参数传入response.urljoin这个函数，直接合成了新的下一页链接。

其实这个函数的标准写法是response.urljoin(url,next_page_url)但是括号里前一个url就是在爬虫最开始设定的shart_urls = [’…’]里面这个url

举例：
比如scrapy起始地址为’http://quotes.toscrape.com/’
那么response.url的值就是默认的：‘http://quotes.toscrape.com/’
此时在用response.urljoin这个函数，起始的url这个参数就可以不要写进去，而直接写后面需要join的参数就行了！！！
假设这个时候设定next_page_url='此处必须为字符串形式‘
这个时候输出结果为：

next_page_url = ‘/page/2’
response.urljoin(next_page_url)
‘http://quotes.toscrape.com/page/2’

next_page_url = ‘wherearethefathers?’
response.urljoin(next_page_url)
‘http://quotes.toscrape.com/wherearethefathers’

Andre_zeng
关注
  • 10
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
关于scrapy框架的理解.md
12-18
关于如何安装Python的scrapy框架,可以尝试anaconda官方的3.7Python数据(现在还是3.7吧)反正就是最新的 安装好后在cmd输入Python,看看能不能运行,能正常运行则在重新打开cmd,输入conda install scrapy 等待安装即可
Scrapy爬虫urlparse之urljoin() 必备
ITYTI的博客
10-26 4245
首先导入模块，用help查看相关文档 >>> from urllib import parse >>> help(parse.urljoin) Help on function urljoin in module urlparse: urljoin(base, url, allow_fragments=True) Join a base URL a...
Scrapy爬虫框架学习之Response对象
BigOrange的博客
01-03 7139
一、什么是Response对象？ response对象是用来描述一个HTTP响应的，一般是和request成对出现，你用浏览器浏览网页的时候，给网站服务器一个request(请求)，然后网站服务器根据你请求的内容给你一个response(响应)。 那 Scrapy中的response又是什么东西？ 其实这个response和上边讲到的作用一样，不过在Scrapy中的response是一个基类，根...
scrapy中的request和response的参数及属性方法
weixin_30587927的博客
12-29 1341
request/response 这是自己看了官方文档后，进行的翻译总结，因为是自己直接从word笔记中粘贴过来的，所有显示的可能有点乱。可能有不太准确的地方，如有发现请留言。谢谢！ request https://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/request-response.html#scrapy.http.Request...
Python爬虫（入门+进阶）学习笔记 2-6 Scrapy的Request和Response详解
kissazhu的博客
06-30 2979
上节课我们学习了中间件，知道了怎么通过中间件执行反反爬策略。本节课主要介绍Scrapy框架的request对象和response对象通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序Request类和Response类都有一些子类，子类用来添加基类中不必要的功能。这些在下面的请求子类和响应子类中描述...
scrapy 中拼接url 的方式
浮云
10-21 2185
有时我们获取的url地址是不完整的，需要拼接一个完整的url。 方法一： 使用+号拼接 url = “localhost” + response.css("#.pp a::attr(src)").extract_first(default=None) 方法二 使用 join url = "".join([host,response.xpath("//a[@class='pic']/im...
【零基础学爬虫】scrapy框架的基本使用
我的博客
04-20 215
回顾 scrapy是一个非常强大的异步爬虫框架，组件丰富，我们只需要关注爬虫的逻辑即可。本文通过一个scrapy项目实战，来熟悉scrapy的使用 站点分析 目标站点:scrapy官方提供的抓取网站，主要是名人名言、作者标签之类的信息 网页结构非常简单 翻页url： http://quotes.toscrape.com/page/5/ 该网站没有任何的反爬虫措施，结果也很简单 流程框架 实现...
scrapy中的headers，Request，response
12-22
文章目录headersRequestresponse headers 为了让程序请求模仿的更像浏览器，需要在headers请求头上添加一些参数 headers请求头的部分重要参数： Host (主机和端口号) Connection (链接类型) ...User-Agent (浏览器名称)...
关于如何安装scrapy
12-21
Scrapy是一个强大的Python爬虫框架，它为开发者提供了构建网络爬虫所需的各种工具和功能，使得数据抓取和处理变得更加高效和便捷。然而，对于初学者来说，安装Scrapy可能会遇到一些挑战，尤其是在某些特定环境下。...
scrapy爬虫完整实例
12-25
本文主要通过实例介绍了scrapy框架的使用，分享了两个例子，爬豆瓣文本例程 douban 和图片例程 douban_imgs ，具体如下。 例程1： douban 目录树 douban --douban --spiders --__init__.py --bookspider.py --...
Python实现从脚本里运行scrapy的方法
12-25
本文实例讲述了Python实现从脚本里运行scrapy的方法。分享给大家供大家参考。具体如下： 复制代码 代码如下:#!/usr/bin/python import os os.environ.setdefault(‘SCRAPY_SETTINGS_MODULE’, ‘project.settings’)...
Scrapy response获取当前页url和url补全
热门推荐
寸草心的博客
04-09 1万+
获取当前页url url = response.body_as_unicode() 补全url url = response.urljoin(url) 这样就能在url前拼接上https:
Scrapy中response介绍、属性以及内容提取
欢迎来到爱吃熊掌的鱼的博客
08-04 6024
Scrapy中response介绍、属性以及内容提取,常用的xpath和css选择器语法。
Python，Scrapy 爬虫框架，简单入手的案例（适合初学者阶段入手的案例）
m0_69938575的博客
07-22 3185
Python，Scrapy爬虫框架，简单入手的案例（适合新手）
python3 爬虫相关学习3：response= requests.get(url)的各种属性
奔跑的犀牛先生
05-15 5602
print(response.content.decode()) # 注意这里！utf-8编码，utf-16编码，utf-32编码。中文GBK，英文ASCII ，繁体中文big5。共收录了21003个汉字，883个字符。编码范围是0x8140~0xFEFE。utf-8编码带BOM 和 无BOM的。(1个字节是8位2进制)utf-8 兼容 ascii。(2个字节是16位)标准ascii 字符集。扩展ascii 字符集。Unicode字符集。
玩转 Scrapy 框架 (二)：Scrapy 架构、Request和Response介绍
Amo Xiang的博客
09-15 2345
介绍了Spider的基本使用方法以及Request、Response对象的基本数据结构，通过了解本文的内容，我们便可以灵活地完成爬取逻辑的定制了。
Request和Response全面讲解和源码
weixin_47267628的博客
04-24 1827
HTTP和Request和Response及ServletContext对象 HTTP协议 HTTP协议：请求消息和响应消息 请求消息：客户端发送给服务器端的数据 响应消息：服务器端发送给客户端的数据 概念：Hyper Text Transfer Protocol超文本传输协议 传输协议：定义了，客户端和服务器端通信时，发送数据的格式 特点: 基于TCP/IP高级协议 默认端口号：80 基于请求/响应模型的：一次请求对应一次响应 无状态的：每次请求之间相互独立，不能交互数据< 历史版本： 1
55个常用的JavaScript网页脚本
pan_junbiao的博客
01-29 4970
1. oncontextmenu="window.event.returnValue=false" 将彻底屏蔽鼠标右键 <table border oncontextmenu=return(false)><td>no</table> 可用于Table 2. <body onselectstart="return false"> 取消选取、防止复制 ...
python——scrapy中Request参数
Python_BT的博客
08-25 1236
介绍 Request类是一个http请求的类，对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个请求，在Downloader中执行这样的一个请求。同时也有一个子类FormRequest继承于它，用于post请求。 在Spider中通常用法： yield scrapy.Request(url = ‘zarten.com’) 类属性和方法有： url method headers body meta copy() replace([url, method, headers, body, cooki
scrapy如何将response.follow加入到中间件里
最新发布
09-01
### 回答1： 你可以使用自定义的 Scrapy 中间件来处理 response.follow() 请求。 首先，在你的 Scrapy 项目中创建一个中间件文件，然后在这个文件中定义一个新的中间件类。在这个类中，你需要实现以下三个方法： ``` from scrapy import signals class MyMiddleware: def __init__(self): # 在这里初始化中间件 pass @classmethod def from_crawler(cls, crawler): # 创建中间件实例，并将其绑定到信号 middleware = cls() crawler.signals.connect(middleware.spider_opened, signals.spider_opened) return middleware def process_request(self, request, spider): # 在这里处理 response.follow() 请求 if request.callback == "parse": request = request.replace(callback=self.parse) return request def parse(self, response): # 在这里处理响应数据 pass ``` 然后，你需要在 Scrapy 的设置文件中启用你的中间件： ``` # settings.py DOWNLOADER_MIDDLEWARES = { "myproject.middlewares.MyMiddleware": 500, } ``` 最后，在你的爬虫文件中使用 response.follow() 方法即可。 ### 回答2： Scrapy是一个用于爬取网站数据的Python框架，可以通过设置中间件对请求和响应进行处理。中间件是Scrapy中的一个组件，可以对请求进行修改、过滤或重定向，同时也可以对响应进行处理。 要将response.follow方法加入到中间件里，需要按照以下步骤进行操作： 1. 创建一个新的Scrapy中间件类，继承自scrapy.downloadermiddlewares.DownloaderMiddleware类。 2. 在中间件类中重写process_response方法，该方法会在下载器下载完网页后被调用。 3. 在process_response方法中判断当前的响应是否需要进行重定向，如果需要重定向，则调用response.follow方法来跟进重定向的URL。 4. 返回处理后的响应对象。 下面是一个示例： ```python from scrapy import Request class MyMiddleware(object): def process_response(self, request, response, spider): if response.status in [301, 302]: redirected_url = response.headers.get('Location') if redirected_url: new_request = Request( url=redirected_url, headers=request.headers, cookies=request.cookies, meta=request.meta, dont_filter=True # 如果要进行重定向，需要设置dont_filter为True，避免重复访问 ) # 调用response.follow方法来跟进重定向的URL return spider.follow(new_request) return response ``` 在上述示例中，我们创建了一个名为MyMiddleware的中间件类，其中重写了process_response方法。方法中首先判断响应的状态码是否为301或302，如果是，则获取重定向的URL，并创建一个新的Request对象。然后，通过调用spider.follow方法来跟进重定向的URL。最后，返回处理后的响应对象。 需要注意的是，上述示例仅为演示如何将response.follow方法加入到中间件里，具体的实现方式可能会因具体的项目需求而有所变化。 ### 回答3： 要将`response.follow`方法添加到Scrapy的中间件中，你需要按照以下几个步骤进行操作： 1. 创建一个自定义的中间件类，继承自Scrapy的`DownloaderMiddleware`类，并重写`process_request`方法： ```python from scrapy import Request class MyMiddleware(object): def process_request(self, request, spider): if isinstance(request, Request): # 判断请求是否为Request类型 if 'follow' in request.meta: # 判断请求的meta中是否存在'follow'字段 url = request.url callback = request.callback priority = request.priority dont_filter = request.dont_filter return Request(url=url, callback=callback, priority=priority, dont_filter=dont_filter) return None ``` 2. 在Scrapy的设置文件`settings.py`中，将自定义的中间件添加到`DOWNLOADER_MIDDLEWARES`配置项中： ```python DOWNLOADER_MIDDLEWARES = { 'yourproject.middlewares.MyMiddleware': 543, # 数字越小，优先级越高 } ``` 3. 在爬虫中使用`response.follow`方法，并在请求的meta中添加`'follow': True`，以触发中间件的处理： ```python import scrapy class MySpider(scrapy.Spider): name = 'myspider' def start_requests(self): url = 'http://example.com/page1' yield scrapy.Request(url=url, callback=self.parse, meta={'follow': True}) def parse(self, response): # 使用response.follow方法，会调用中间件中的process_request方法 yield response.follow('/page2', callback=self.parse_page2) def parse_page2(self, response): # 解析爬取到的数据 pass ``` 通过以上步骤，你就可以将`response.follow`方法添加到中间件中，并在需要时使用`response.follow`方法进行请求的跟进。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值