Selenium 获取接口响应数据

已于 2023-12-10 16:33:19 修改
阅读量3.8k 收藏 8
点赞数 1
分类专栏： Selenium高级篇 Selenium4.0自动化测试从入门到实践 文章标签： selenium 测试工具
于 2023-07-12 20:48:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TalorSwfit20111208/article/details/131689707
版权

目录

前言

seleniumwire简介

功能

兼容性

目录

安装

创建webdriver

获取请求

请求对象

限制请求捕获

前言

有时候需要知道UI界面操作的同时接口响应数据是否正常，这时就需要获取接口响应数据。Selenium本身没有获取接口响应的api，但是可以通过第三方库seleniumwire获取接口响应数据。

seleniumwire简介

SeleniumWire扩展了Selenium的Python绑定，使您可以访问浏览器发出的底层请求。您以与Selenium相同的方式编写代码，但您获得了额外的API来检查请求和响应，并对其进行动态更改。

功能

  • 纯Python，用户友好的API
  • 捕获HTTP和HTTPS请求
  • 拦截请求和响应
  • 动态修改标题、参数和正文内容
  • 捕获websocket消息
  • 支持HAR格式
  • 代理服务器支持

兼容性

  • Python 3.7+
  • Selenium 4.0.0+
  • Chrome, Firefox, Edge and Remote Webdriver supported

目录

安装

pip install selenium-wire

创建webdriver


                

        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  知识的宝藏
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    8
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
Selenium获取接口返回参数和Cookie

				
			

			

				

					baidu_39137173的博客
				

				

					02-05
					
					1808
					
				

			

		

		

			
				
使用Selenium做自动化测试非常方便，但是也会遇到一些问题
比如：

怎么才能获取到请求了什么接口？
怎么才能获取到请求头的Cookie？
怎么拿到接口的请求参数或者返回参数？

接下来就来讲讲我是怎么实现的
首先只使用Selenium是很难拿到的（可能是我太菜，反正我做了很多尝试，也没有成功   - - !）
最后使用BrowsermobProxy才拿到想要的东西
那就正式开始吧
首先导入jar包，这个不用说了吧
<dependency>
   <groupId>org.sel

			
		

	



                

              
                



	

		

			

				
					
Selenium + Chrome WebDriver + JS：实现高级爬虫技巧，获取网页响应状态码！

				
			

			

				

					Jesse_Kyrie的博客
				

				

					07-26
					
					2027
					
				

			

		

		

			
				
在爬虫领域，我们通常使用requests库来获取响应状态码，但对于Selenium爬虫，我们同样可以通过高级技巧实现这一功能。本文将向你展示如何通过Selenium WebDriver执行JavaScript脚本，智能地获取网页的响应状态码，让你的爬虫更具专业性和实用性！

			
		

	



                


  
              

                


	

		

			

				
					
selenium获取请求和响应

				
			

			

				

					bright的博客
				

				

					12-21
					
					2047
					
				

			

		

		

			
				
【代码】selenium获取请求和响应。

			
		

	





	

		

			

				
					
Selenium 获取请求响应

				
			

			

				

					yudiandian2014的专栏
				

				

					06-19
					
					513
					
				

			

		

		

			
				
Selenium 获取请求响应

			
		

	



		

			
		



	

		

			

				
					
利用selenium获取接口数据

				
			

			

				

					weixin_47175709的博客
				

				

					10-10
					
					3643
					
				

			

		

		

			
				
selenium获取接口数据

			
		

	





	

		

			

				
					
seleniumwire获取页面接口数据

				
			

			

				

					qq_40480758的博客
				

				

					12-15
					
					1190
					
				

			

		

		

			
				
selenium并不支持获取响应的数据，我们可以使用selenium-wire库，selenium-wire扩展了 Selenium 的 Python 绑定，可以访问浏览器发出的底层请求。编写的代码与 Selenium 的方式相同。

			
		

	





	

		

			

				
					
selenium 模拟浏览器，获取页面响应数据

				
			

			

				

					人生苦短，何妨一试
				

				

					01-03
					
					2452
					
				

			

		

		

			
				
from selenium import webdriver
import os

chromedriver = r"C:\Users\Administrator\AppData\Local\Programs\Python\Python37-32\chromedriver.exe"

# 设置浏览器
os.environ["webdriver.chrome.driver"] = chromedriver

driver = webdriver.Chrome(chromedriver)

# 最大化窗口 用.

			
		

	





	

		

			

				
					
selenium获取网络响应内容

				
			

			

				

					u014376732的博客
				

				

					10-22
					
					1076
					
				

			

		

		

			
				
新版本不支持desired_capabilities的问题解决。selenium == 4.14.0 就不支持上述设置方法。历史版本设置方法，selenium==4.1.0。不同版本有不同的配置方法。

			
		

	





	

		

			

				
					
Java获取响应头response header

				
			

			

				

					12-22
				

			

		

		

			
				
 	import java.io.IOException; 	import java.net.URL; 	import java.net.URLConnection; 	import java.util.Map; 	import java.util.Set;...	public class CheckHttpResposneHeaders { 	public static void main...

			
		

	





	

		

			

				
					
python爬虫 使用selenium 实现中英互译

				
			

			

				

					03-23
				

			

		

		

			
				
Python爬虫技术在数据获取和自动化测试中扮演着重要角色，而Selenium作为一个强大的Web浏览器自动化工具，常常被用于模拟真实用户操作，如点击、滚动、填写表单等。在这个项目中，我们专注于使用Selenium实现中英...

			
		

	





	

		

			

				
					
如何用selenium封装post参数提交示例

				
			

			

				

					05-17
				

			

		

		

			
				
Selenium通常包含WebDriver接口，它提供了一种方式来控制浏览器，并执行各种操作。在Python中，我们可以使用`selenium.webdriver`模块来创建WebDriver实例，比如ChromeDriver或FirefoxDriver。  封装POST请求的关键...

			
		

	





	

		

			

				
					
微博热点数据获取 + python

				
			

			

				

					03-12
				

			

		

		

			
				
1. **请求热点数据**: 使用requests库向微博的热点数据接口发送请求，并获取JSON格式的响应数据。 2. **解析数据**: 使用BeautifulSoup或lxml解析返回的HTML内容，提取出热点话题的名称、链接、热度等信息。 3. **...

			
		

	





	

		

			

				
					
淘宝商品爬虫, selenium破解滑块验证（目前可用）

				
			

			

				

					06-22
				

			

		

		

			
				
爬虫的基本流程包括发送HTTP请求、接收服务器响应、解析HTML内容以及存储数据。在淘宝商品爬虫中，我们需要获取商品页面的URL，然后利用Python的requests库发送GET请求，获取网页HTML内容，再用BeautifulSoup等解析...

			
		

	





	

		

			

				
					
自动化测试 - selenium 环境搭建

				
			

			

				

					2303_78892316的博客
				

				

					07-20
					
					542
					
				

			

		

		

			
				
在进行自动化测试时，Selenium 是一个非常强大的工具，在使用前需要做一些环境准备。

			
		

	





	

		

			

				
					
如何使用Python和Selenium解决reCAPTCHA

					
最新发布

				
			

			

				

					weixin_68994939的博客
				

				

					07-25
					
					1066
					
				

			

		

		

			
				
reCAPTCHA是由Google开发的一项安全服务,用于保护网站免受垃圾邮件和滥用。它能区分人类用户和自动化机器人,确保表单提交、账户创建和登录尝试等交互是由真实的人执行的。reCAPTCHA使用各种挑战来验证用户的真实性,从简单的复选框到复杂的图像识别都有。反复解决烦人的验证码却总是失败?使用CapSolver的AI驱动自动网页解锁技术,体验无缝的自动验证码解决方案!获取顶级验证码解决方案的优惠码;兑换后,每次充值都可获得额外5%的奖励,无限制。

			
		

	





	

		

			

				
					
SeleniumBasic操作运行中的Chrome浏览器

				
			

			

				

					xinhuanjieyi的博客
				

				

					07-22
					
					265
					
				

			

		

		

			
				
首先寻找驱动，最新的驱动只支持到浏览器114，我在网上下载的浏览器是94.0.4606.81（64位版本），selenium驱动下载的是94.0.4606.61/chromedriver_win32.zip，位数不一致竟然也可以。浏览器和驱动都解压或安装到I:\install\Chrome94\ 文件夹下。今天用免费云服务器，三丰云，做操作浏览器自动化的VB程序。运行以上代码，在打开的浏览器，打开了百度。如何自动化已经打开的浏览器？输入以上命令，打开了浏览器。

			
		

	





	

		

			

				
					
如何知道一个字段在selenium中是否可编辑？

				
			

			

				

					C'mon的博客
				

				

					07-23
					
					486
					
				

			

		

		

			
				
如果元素上存在“readonly”属性，则无法编辑或操作该元素或字段。我们将使用getAttribute（）方法获取“readOnly”属性的值。因此，如果我们找到一种方法来知道元素是否存在“readonly”，那么我们也可以确定字段的可编辑性。这篇文章将检查我们如何使用Java检查selenium webdriver中的字段是否可编辑。突出显示的元素的ID为“不可编辑”。我们将使用这个id来查找元素，然后了解它的可编辑性特性。由于readonly属性为我们的元素提供，我们在结果中得到了true。

			
		

	





	

		

			

				
					
selenium 访问浏览器 部分接口请求没数据

				
			

			

				

					01-12
				

			

		

		

			
				
Selenium 是一个用于自动化测试的工具，可以模拟用户在浏览器中的操作，访问网页并进行操作。在使用 Selenium 访问浏览器时，有时会遇到部分接口请求没有数据的情况。

造成这种情况的原因可能有多种，包括网络延迟、页面元素加载失败、接口请求错误等。在遇到这种情况时，需要先确认网络状况是否正常，可以尝试刷新页面或者重新发送请求来查看是否能够获取到数据。

另外，也需要检查页面元素的定位和操作是否准确，有时候可能是因为定位元素错误导致无法获取到数据。可以通过查看页面源代码或者使用开发者工具来确认页面元素的定位是否准确。

如果确认网络和页面元素都没有问题，还是无法获取到数据，那可能是因为接口请求本身出现了问题。这时需要检查接口请求的参数是否正确，以及接口本身是否可用。可以通过使用其他工具来发送相同的接口请求来确认接口是否正常响应。

总之，当使用 Selenium 访问浏览器时遇到部分接口请求没有数据的情况，需要先检查网络和页面元素，确认它们没有问题。如果问题依然存在，再去检查接口请求本身的参数和可用性。希望这些建议对解决这个问题有所帮助。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
知识的宝藏

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值