Selenium 获取请求响应

已于 2024-07-04 10:39:01 修改
阅读量516 收藏
点赞数 1
分类专栏： # Python 3 第三方库 Selenium 文章标签： selenium python 测试工具
于 2024-06-19 12:54:04 首次发布
本文链接：https://blog.csdn.net/yudiandian2014/article/details/139799804
版权 
'''
Python 3.7
selenium==3.141.0
urllib3==1.26.2
Chromium 109.0.5405.0 （32 位） 
'''
import json
from selenium import webdriver
from selenium.common.exceptions import WebDriverException
import time

options = webdriver.ChromeOptions()
# 谷歌浏览器位置
chrome_location = r'D:\\Program Files (x86)\\Google\Chrome\\Application\\chrome.exe'
# 谷歌浏览器驱动地址
chromedriver_path = r'D:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver_win32\\chromedriver.exe'

options.binary_location = chrome_location
###################################################################################
# 写法一
# (网上还有其他的方法，有的会报错 可能是版本问题，selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: log type 'performance' not found，
# 下面两种测试正常)

caps = {
    'browserName': 'chrome',
    'version': '',
    'platform': 'ANY',
    'goog:loggingPrefs': {'performance': 'ALL'},
    'goog:chromeOptions': {'extensions': [], 'args': ['--headless']}
}

caps = {
    "browserName": "chrome",
    'goog:loggingPrefs': {'performance': 'ALL'}
}

driver = webdriver.Chrome(executable_path=chromedriver_path, options=options, desired_capabilities=caps)
###################################################################################

###################################################################################
# 写法二 (建议用这种，selenium 4 测试也行)
# options.set_capability("goog:loggingPrefs", {"performance": "ALL", "browser": "ALL"})
# driver = webdriver.Chrome(executable_path=chromedriver_path, options=options)
###################################################################################

# 查询的 IP
list_query = ['135.89.67.33', '34.66.45.22']

for query in list_query:
    driver.get(f'http://ip-api.com/json/{query}')
    # 等待所有请求完成，可以用等待界面元素方法
    time.sleep(10)
    logs = driver.get_log("performance")

    for item in logs:
        # print(item)
        log = json.loads(item["message"])["message"]
        # if "Network.response" in log["method"] or "Network.request" in log["method"] or "Network.webSocket" in log["method"]:
        # pprint(log)
        if log["method"] == 'Network.responseReceived':
            url = log['params']['response']['url']
            if url == 'data:,':  # 过滤掉初始data页面，后续可以根据 log['params']['response']['type']过滤请求类型
                continue
            print('请求', url)
            request_id = log['params']['requestId']
            response_headers = log['params']['response']['headers']
            status_code = log['params']['response']['status']
            try:
                request_data = driver.execute_cdp_cmd('Network.getRequestPostData', {'requestId': request_id})
            except WebDriverException:  # 没有后台数据获取时会有异常
                request_data = None

            response_body = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': request_id})['body']
            print('响应', response_body)


'''
输出：
请求 http://ip-api.com/json/135.89.67.33
响应 {"status":"success","country":"United States","countryCode":"US","region":"IN","regionName":"Indiana","city":"Indianapolis","zip":"46204","lat":39.7709,"lon":-86.1585,"timezone":"America/Indiana/Indianapolis","isp":"AT\u0026T Services","org":"AT\u0026T Services, Inc.","as":"","query":"135.89.67.33"}

请求 http://ip-api.com/json/34.66.45.22
响应 {"status":"success","country":"United States","countryCode":"US","region":"IA","regionName":"Iowa","city":"Council Bluffs","zip":"","lat":41.2619,"lon":-95.8608,"timezone":"America/Chicago","isp":"Google LLC","org":"Google Cloud (us-central1)","as":"AS396982 Google LLC","query":"34.66.45.22"}
'''

'''
Python 3.8
selenium==4.21.0
urllib3==2.2.2
Chromium 109.0.5405.0 （32 位） 
'''
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import WebDriverException
import json
import time

# 谷歌浏览器位置
chrome_location = r'D:\\Program Files (x86)\\Google\Chrome\\Application\\chrome.exe'
# 谷歌浏览器驱动地址
chromedriver_path = r'D:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver_win32\\chromedriver.exe'

# 启用性能日志
options = Options()
options.set_capability("goog:loggingPrefs", {"performance": "ALL", "browser": "ALL"})
options.binary_location = chrome_location
# 启动WebDriver
service = Service(executable_path=chromedriver_path)
driver = webdriver.Chrome(service=service, options=options)

# 查询的 IP
list_query = ['135.89.67.33', '34.66.45.22']

for query in list_query:
    driver.get(f'http://ip-api.com/json/{query}')
    # 等待所有请求完成，可以用等待界面元素方法
    time.sleep(10)
    logs = driver.get_log("performance")

    for item in logs:
        # print(item)
        log = json.loads(item["message"])["message"]
        # if "Network.response" in log["method"] or "Network.request" in log["method"] or "Network.webSocket" in log["method"]:
        # pprint(log)
        if log["method"] == 'Network.responseReceived':
            url = log['params']['response']['url']
            if url == 'data:,':  # 过滤掉初始data页面，后续可以根据 log['params']['response']['type']过滤请求类型
                continue
            print('请求', url)
            request_id = log['params']['requestId']
            response_headers = log['params']['response']['headers']
            status_code = log['params']['response']['status']
            try:
                request_data = driver.execute_cdp_cmd('Network.getRequestPostData', {'requestId': request_id})
            except WebDriverException:  # 没有后台数据获取时会有异常
                request_data = None

            response_body = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': request_id})['body']
            print('响应', response_body)

'''
可以获取 每次 driver.get(url) 的日志信息，重新刷新后就没有之前的了。
'''
'''
参考：
https://blog.csdn.net/MXB_1220/article/details/131775148
https://blog.csdn.net/u014376732/article/details/133973141
https://www.cnblogs.com/szyicol/p/18093390
https://www.cnblogs.com/superhin/p/15023302.html
https://segmentfault.com/q/1010000043296964
https://www.yanue.net/post-176.html
'''
她不喜欢喝咖啡
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Selenium 获取接口响应数据
C'mon的博客
07-12 3855
有时候需要知道UI界面操作的同时接口响应数据是否正常，这时就需要获取接口响应数据。Selenium本身没有获取接口响应的api，但是可以通过第三方库seleniumwire获取接口响应数据。SeleniumWire扩展了Selenium的Python绑定，使您可以访问浏览器发出的底层请求。您以与Selenium相同的方式编写代码，但您获得了额外的API来检查请求和响应，并对其进行动态更改。
selenium获取请求和响应
bright的博客
12-21 2052
【代码】selenium获取请求和响应。
Python Selenium自动化获取页面信息的方法
12-17
1.获取页面title title：获取当前页面的标题显示的字段 from selenium import webdriver import time browser = webdriver.Chrome() browser.get('https://www.baidu.com') #打印网页标题 print(browser.title) #输出内容：百度一下，你就知道 2.获取页面URL current_url：获取当前页面的URL from selenium import webdriver import time browser = webdriver.Chrome(
get_log(‘performance‘) 不能用了，改用seleniumwire
weixin_46279624的博客
12-22 2848
seleniuwire 查请求头中字段
selenium 获取请求响应信息，包括请求的响应头和响应体
liu_xzhen的博客
12-28 1万+
selenium 获取请求响应信息，包括请求的响应头和响应体，解码提取内容。并解决报错UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte问题
Selenium中如何抓取网络请求响应及WebSocket信息
MXB_1220的博客
07-17 2711
！我个人整理了我这几年软件测试生涯整理的一些技术资料，包含：电子书，简历模块，各种工作模板，面试宝典，自学项目等。欢迎大家点击下方名片免费领取，千万不要错过哦。
如何用selenium封装post参数提交示例
05-17
在描述中提到的，我们将探讨如何使用Selenium来封装POST参数并提交，以获取异步请求返回的JSON对象值。 首先，理解Selenium的基本结构是必要的。Selenium通常包含WebDriver接口，它提供了一种方式来控制浏览器，并...
Java获取响应头response header
12-22
import java.io.IOException; import java.net.URL; import java.net.URLConnection; import java.util.Map; import java.util.Set;... public class CheckHttpResposneHeaders { public static void main...
爬虫爬取taobao搜索页商品基本数据（可翻页）+ selenium + Xpath (爬虫具有时效性)
11-19
在淘宝的关键词搜索页进行页面切换，可以发现浏览器顶部的地址栏url也是没有任何变化，那么就抓包吧，通过开发者工具进行抓包发现所需数据都放在一个js请求的响应中。 在Headers中观察请求发现数据请求地址(get请求...
selenium-07-ajax的使用发送get请求.ev4.rar
最新发布
05-24
在IT行业中，Selenium是一个广泛使用的自动化测试工具，主要用于Web应用程序的测试。...本教程的"selenium-07-ajax的使用发送get请求.ev4.mp4"视频应该会详细地演示这一过程，建议观看以获取更深入的理解。
python爬虫 使用selenium 实现中英互译
03-23
Python爬虫技术在数据获取和自动化测试中扮演着重要角色，而Selenium作为一个强大的Web浏览器自动化工具，常常被用于模拟真实用户操作，如点击、滚动、填写表单等。在这个项目中，我们专注于使用Selenium实现中英...
设置selenium启动谷歌浏览器参数
shitou987的博客
06-30 453
补充
Python+Selenium自动化测试-自定义Log
ct745363083的博客
09-12 314
为了记录测试步骤，方便查找测试失败原因，添加日志库Logger。以下为整理的创建日志库的过程。 1.首先了解logging模块 (1)日志级别 logging提供了一组便利的函数，用来做简单的日志。它们是 debug()、 info()、 warning()、 error() 和 critical()。 Debug:详细信息，一般只在调试问题时使用。 Info: Warning：某些 DEBUG：...
python selenium chrome 获取控制台日志
热门推荐
freedomxu的专栏
08-02 2万+
在使用免费IP代理过程中，发现很多无法使用，浏览器返回的值有几种，“未连接到互联网”，“网页工作不正常等”，但是没有想到好的方法统一识别。因此想获取HTTP状态码，找到一篇博文，但是其中的方法好像也不完全通用。总结一下get_log和log_types的用法。 driver = webdriver.Chrome() driver.log_types Out[36]: ['browser', ...
selenium 通过 chrome webdriver 的log获得谷歌network调试接口ajax response数据
bigcarp的专栏
12-13 2609
获取response数据有几种方式，最常见的是用代理，另外还有javascript注入hook的方式 这里介绍的是log的方式 https://blog.csdn.net/weixin_34722157/article/details/112436963 一般我们用webdriver时候都是通过xpath，css之类的选择器取页面的数据，今天我教你另一种方案，直接获得response！ import webdriver from selenium.webdriver.common.des...
selenium&playwright获取网站Authorization鉴权实现伪装requests请求
测试萌萌
05-15 4039
本文已实战为主，如果不熟悉selenium或playwright，建议补充相关知识点：cookie、session、request、headers相关概念selenium：get_log() 获取用户权限信息，打开指定浏览器，免登陆，伪造请求头playwright：类方法-Page，Request，Route，Docs-Authentication，Network其中selenium4与selenium3的操作有一些差异，这里不做研究。
selenium获取网络响应的正文
Jason_WangYing的博客
10-05 3286
到这里，我们成功获取到了网页加载的所有资源，资源都在request_log里面，现在我们就需要筛选出来我们需要的资源requestId。这里最主要是driver里面的 execute_cdp_cmd方法，我们可以根据此方法来获取网页的请求包，具体。有时我们爬虫时，需要获取到页面的api接口响应正文。
selenium获取请求头
11-15
要获取Selenium的请求头，可以使用selenium-wire库。以下是获取请求头的示例代码： ```python from seleniumwire import webdriver # 创建一个webdriver实例 driver = webdriver.Chrome() # 访问网页 driver.get('https://www.example.com') # 获取请求头 for request in driver.requests: if request.response: print(request.headers) ``` 在上面的代码中，我们首先导入了seleniumwire库并创建了一个Chrome webdriver实例。然后我们访问了一个网页，并使用for循环遍历了所有的请求。如果请求有响应，我们就打印出了请求头。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值