selenium通过performance log获取状态码,Content-Type,以及重定向路径

本文介绍了selenium官方不支持获取HTTP响应状态码、Content-Type及重定向路径的情况,并探讨了三种非官方方法,重点讲述了通过分析Chrome的performance log实现这一目标。这种方法仅访问一次网络,能够捕获包括location、scriptInitiated和metaTagRefresh在内的各种重定向。文章还解决了在Python环境中使用requests库遇到的SSL错误问题,并提供了测试代码及其输出示例。
摘要由CSDN通过智能技术生成

selenium的官方不提供获取状态码,Content-Type,以及重定向路径的方法,并且官方说这些功能将来也不会有。java - How to get HTTP Response Code using Selenium WebDriver - Stack Overflow

非官方的方法大概有下面几种

1.通过requests重新请求一遍url,获取response里面的状态码

2.通过中间代理服务器来获取,比如selenium-wire,selenium-wire里面内建了一个代理服务器,通过代理服务器可以获取各个请求的状态码

3.通过分析chrome的performance log来获取状态码以及重定向路径

1的方法会多访问一遍网络,并且不能支持mata或js的重定向。2的方法只访问一次网络,但同样不能支持mata或js的重定向,只有3的方法只访问一次网络可以获取所有的状态。

并且1的方法在python环境上打开一些https网站还有如下bug

ssl.SSLError: [SSL: UNSAFE_LEGACY_RENEGOTIATION_DISABLED] unsafe legacy renegotiation disabled (_ssl.c:1131) · Issue #2653 · urllib3/urllib3 · GitHuby

 这个问题的原因是This error comes up when using OpenSSL 3 to connect to a server which does not support it. The solution is to downgrade the cryptography package in python:

  python

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值