requests中禁止重定向-PDF全文下载

最新推荐文章于 2023-11-16 09:19:52 发布
最新推荐文章于 2023-11-16 09:19:52 发布
阅读量291 收藏
点赞数
分类专栏： # 爬虫异常处理 # 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tramp_fish/article/details/106020869
版权

1.知识点

在requests发送请求时添加allow_redirects=False

2.异常网站

aHR0cHM6Ly9hc21lZGlnaXRhbGNvbGxlY3Rpb24uYXNtZS5vcmcvdHJpYm9sb2d5L2FydGljbGUvZG9pLzEwLjExMTUvMS40MDQ2NTcxLzEwNzU2ODMvSW52ZXN0aWdhdGlvbi1vbi1GcmljdGlvbi1BbnRpLXdlYXItYW5kLUV4dHJlbWU=

3.现象与处理

在通过详细页获取pdf全文链接，发送请求下载全文时，请求经过多次跳转返回到账号登录页。通过在request请求方法中添加allow_redirects=False ，禁止请求跳转，在response中headers的location参数取到pdf的真正地址，发送此地址的请求，完成期刊全文的下载

4.演示代码

import requests
session =requests.session()
resposne = session.get(url,allow_redirects=False)

 

Tramp_fish
关注
专栏目录
Scrapy爬虫框架 Requests and Responses 请求和响应
Mr数据杨
02-01 3万+
在本教程中，我们系统地讲解了如何使用Python的requests库来处理HTTP请求和响应。从基本的请求对象和响应对象操作，到错误处理、请求元数据的使用，以及如何处理特定类型的响应，本教程覆盖了网络编程中的关键概念和实用技巧。希望这份教程能帮助你在自学编程的道路上更进一步。如果遇到任何疑问或需要进一步的指导，建议多实践并参考官方文档或相关资料。网络编程是一个非常实用的技能，掌握它将为你的编程之路打开更多可能性。
把知乎丁香医生的文章及回答转pdf
CaiNiaoWuZui的专栏
10-18 3288
之前爬取了1800多万的知乎用户，因而想生成pdf方便保存和阅读，正好试试wkhtmltopdf+pdfkit是否好用。 1:pdfkit是wkhtmltopdf的python封装，因此需要先下载安装wkhtmltopdf，版本wkhtmltopdf-0.12.2.4_mingw-w64，下载地址为[这里写链接内容](http://download.csdn.net/download/cainiao
requests禁止重定向
热门推荐
张帅的博客
09-10 2万+
在requests.get 中添加属性 allow_redirects=False
Python requests请求中禁止重定向处理
zhichuan0307的博客
03-24 4325
问题： 在做接口测试时，我们会遇到接口请求，有302中转跳转问题 我们每次请求时，如果不做处理，接口会自动化跳转至302，从而拿不到自己想要的数据。 解决方式： 在 requests请求中加上allow_redirects=False resp = requests.get(url, verify=False, allow_redirects=False) 其实allow_redirects默认是True,所以是默认跳转 另外verify=True,是告诉后台接口不需要进行验证，不然有些
网页请求禁止重定向
weixin_47177392的博客
05-13 3903
requests/scrapy禁止重定向
Python requests请求禁止跳转重定向（判断是否为原请求链接）
墨痕诉清风的博客
08-23 5103
python requests请求url，有些网站页面出现：网页不存在（404），301 & 302 跳转的问题，抓取到的页面不是原地址，而是跳转后的页面，通过使用禁止重定向来实现判断。 使用方法：allow_redirects=False 方法示例： url = www.example.com r = requests.get(url, timeout=20, allow_redirects=False) status_code = r.status_code if status_code
requests 禁用重定向
panwanpeng的专栏
07-04 1276
这个问题可能是由于Python的requests库在处理HTTP重定向时的行为导致的。默认情况下，当requests库遇到一个302重定向响应时，它会自动地跟随这个重定向。这就是为什么你在使用requests库发送GET请求时得到的状态码是200，而不是302。这样，当你发送GET请求时，如果服务器返回一个302重定向响应，requests库就会停止，并返回这个302响应。请注意，如果禁止了重定向，那么我们就需要自己处理重定向的逻辑，例如解析Location头部，然后发送一个新的GET请求到新的URL。
pdf爬取大量专用
11-02
在提供的文件列表中，我们看到了`iDocDown_V3.0.9_green_by_bluedream.exe`，这很可能是一个绿色免安装版的PDF下载工具。这个工具可能具备批量下载功能，允许用户输入一系列PDF文件的URL，然后自动下载到本地。使用...
[RFC2616-HTTP/1.1 超文本传输协议]（翻译）[Part 1]
PiPiQ_Blog的博客
02-15 3848
原文：RFC 2616 - Hypertext Transfer Protocol -- HTTP/1.1 (ietf.org) （因本篇RFC较长，将其分为几篇文章进行翻译） 超文本传输​​协议——HTTP/1.1 超文本传输​​协议 (HTTP) 是分布式、协作、超媒体信息系统的应用层协议。它是一种通用的、无状态的协议，通过扩展其请求方法、错误代码和标头 [47]，可用于超文本之外的许多任务，例如名称服务器和分布式对象管理系统。 HTTP 的一个特性是数据表示的类型化和协商，允许独立于正在传输的数
Nginx架构及配置详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-10 5358
概述 Nginx采用C进行编写，是俄罗斯程序员开发的一款轻量级的可构建Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器的软件， Nginx服务器是一个高性能的HTTP和反向代理web服务器，同时也可提供了IMAP/POP3/SMTP服务。nginx常用作跑静态和做负载反向代理，动态php交给apache处理，因后者比较稳定，jsp交给tomcat、resin或jboss。n......
request中禁止重定向
aa17164317的博客
02-13 3892
在requests 中添加属性 allow_redirects=False
设置response的Header使得Chrome浏览器打开PDF而不自动下载
weixin_33826268的博客
05-04 3059
关键代码 response.setContentType("application/pdf"); response.setHeader("Content-Disposition", "inline;fileName=XXXX.pdf"); 其中比较关键的是Content-Disposition是inline而不是attachment，这样提示浏览器来显示文档而不是下载 转载于:htt...
解决 requests 库中的重定向问题
最新发布
weixin_73725158的博客
11-16 396
解决这个问题的方法是移除`Response.next`方法，因为这个方法并不是一个很好的实现，而且它只适用于使用`Session`对象的`Request`对象。默认情况下，`requests`库会自动处理重定向，但有时用户可能希望禁止重定向，即在发起请求时设置`allow_redirects=False`。然而，一些用户发现，即使他们明确将`allow_redirects`设置为`False`，`requests`库仍然会执行重定向处理代码，导致不符合他们的预期结果。# 移除重定向处理代码。
【requests】重定向
测试小工
02-22 1189
requests 重定向
python requests下载文件_安全检查中...
weixin_39647458的博客
11-24 96
+((!+[]+(!![])+!![]+!![]+!![]+!![]+!![]+!![]+!![]+[])+(!+[]+(!![])-[])+(!+[]-(!![]))+(!+[]+(!![])+!![]+!![])+(+!![])+(!+[]+(!![])+!![]+!![]+!![]+!![]+!![]+!![]+!![])+(!+[]+(!![])+!![]+!![]+!![]+!![]+!...
关于 页面转发 跳转 request respo…
feiniu5566的专栏
10-30 761
1.httpRespoinse.sendRedirect(""); 2.request.getRequestDispatcher( "url ").forward(request,response); 3.FilterConfig.getServletContext().getRequestDispatcher("/adminUserAction!toLogin.action").forward(
关于禁止直接访问登陆后跳转的相关界面拦截
我家女人从不撒娇的博客
09-19 652
在跳转主页的时候我们需要判断是否登录，如果直接访问主页 而没有登陆的时候则是需要被强制退出的。这就用到了所谓的拦截器。创建一个LoginInterceptor 类，代码如下：> /** > * 登录认证的拦截器 > */ > public class LoginInterceptor implements > HandlerInterceptor{ //创建一
scrapy禁止重定向
07-28
在Scrapy中禁止重定向有几种方法。首先，如果你在start_requests方法中顺序爬取执行，你可以在yield Request时添加meta参数，并设置dont_redirect为True，handle_httpstatus_list为\[302\]，这样就可以中止重定向。例如： ```python def start_requests(self): yield Request(url, meta={ 'dont_redirect': True, 'handle_httpstatus_list': \[302\] }, callback=self.parse) ``` 如果你是在parse方法中使用yield Request进行爬取，你可以添加dont_filter=True参数来过滤重复请求，并且同样需要设置dont_redirect为True和handle_httpstatus_list为\[302\]。例如： ```python def parse(self, response): url = "xxxxxxxxxx" yield Request(url, meta={ 'dont_redirect': True, 'handle_httpstatus_list': \[302\] }, callback=self.parse, dont_filter=True) ``` 另外，你也可以直接在yield Request时设置dont_redirect为True来中止重定向。例如： ```python yield Request(url, meta={ 'dont_redirect': True, 'handle_httpstatus_list': \[302\] }, callback=self.parse) ``` 以上是在Scrapy中禁止重定向的几种方法。你可以根据具体的需求选择适合的方法来实现禁止重定向的功能。 #### 引用[.reference_title] - *1* *2* *3* [Scrapy爬虫遇见重定向301/302问题解决方法](https://blog.csdn.net/WuYan_Emperor/article/details/125540770)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值