比Selenium好用？Python使用playwright获取S站在线游戏排名

最新推荐文章于 2024-06-09 09:56:42 发布
最新推荐文章于 2024-06-09 09:56:42 发布
阅读量1w 收藏 4
点赞数
分类专栏： Python爬取分享 文章标签： selenium 游戏 测试工具 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CorGi_8456/article/details/123401026
版权
本文介绍了如何使用Python的Playwright库替代Selenium来爬取S站的在线游戏排名。Playwright支持Websocket协议，提供更好的浏览器交互体验。在遇到Cloudflare验证问题以及SDB网站无法爬取的情况下，通过Playwright的代理配置和选择器解析，成功获取到SDB的在线人数和游戏排名信息。
摘要由CSDN通过智能技术生成

        因为版权不明，以下所有的那个网站用S代替，那个第三方网站用SDB代替。       

        在之前的文章中爬取了S的热销商品，也说明了因为Cloudflare的浏览器验证导致SDB无法爬取，连selenium也不行。当时我就放弃了。

        我不甘心啊

        但是前一段时间，有一个伙计给我讲：【用playwright啊！】 （里面有文档链接哦。居然还有人收费才告诉你文档地址，真的不地道。）

        playwright支持多种语法，相比于selenium的Http协议，playwright的Websocket获取浏览器情况会更好一点。

Playwright的使用 

        安装：需要python3.7+


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  CorGi_8456
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    4
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  2
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
python自动化工具Selenium与playwright去除webdriver检测

				
			

			

				

					03-12
				

			

		

		

			
				
自动化工具Selenium与playwright去除webdriver检测js

			
		

	



                

              
                



	

		

			

				
					
2023 年如何绕过 Cloudflare

				
			

			

				

					aini123152008的博客
				

				

					11-09
					
					7408
					
				

			

		

		

			
				
Cloudflare|5秒盾

			
		

	



                


  
              

                


	

		

			

				
					
Web 抓取服务：如何绕过 Cloudflare Bot Protection？ 第二部分

				
			

			

				

					我的博客，不一样的自我表达 
				

				

					04-24
					
					829
					
				

			

		

		

			
				
作为证明，在我之前关于 Cloudflare 的帖子中，我为 3 个不同的网站编写了三个类似的解决方案，但其中只有两个仍然有效。使用amiunique.org上的测试，我们可以看到我的 Mac 笔记本电脑上 Chrome 的 Playwright 标准执行与使用 GoLogin 浏览器的 Windows 机器的自定义配置文件之间的差异。因此，您的工作受到保护。我之所以选择GoLogin网络抓取服务，是因为上面的所有功能以及我可以创建不同的配置文件（每个配置文件都在不同的指纹下），我可以将其用于我的实验。

			
		

	





	

		

			

				
					
探索Cloudflare挑战解决利器：CF-Clearance-Scraper

					
最新发布

				
			

			

				

					gitblog_00030的博客
				

				

					06-09
					
					445
					
				

			

		

		

			
				
探索Cloudflare挑战解决利器：CF-Clearance-Scraper
项目地址:https://gitcode.com/Xewdy444/CF-Clearance-Scraper
项目简介
CF-Clearance-Scraper 是一个基于Playwright的Python程序，专门用于从启用Cloudflare挑战的网站上抓取cf_clearance饼干。无论是JavaScript、...

			
		

	



		

			
		



	

		

			

				
					
2024 年如何绕过 Cloudflare

				
			

			

				

					mature的博客
				

				

					03-22
					
					3070
					
				

			

		

		

			
				
Cloudflare 是一家 Web 性能和安全公司。在安全方面，他们为客户提供了Web 应用程序防火墙 (WAF)。WAF 可以保护应用程序免受多种安全威胁，例如跨站点脚本 (XSS)、撞库和 DDoS 攻击。Cloudflare 的 Bot Manager 是其 WAF 中包含的核心系统之一。作为机器人防护解决方案，其主要目标是在不影响真实用户的情况下减轻恶意机器人的攻击。Cloudflare 承认某些机器人的重要性。例如，没有网站愿意故意阻止谷歌或其他搜索引擎抓取其网页。

			
		

	





	

		

			

				
					
playwright使用心得

				
			

			

				

					懿曲折扇情
				

				

					09-13
					
					6053
					
				

			

		

		

			
				
playwright使用心得

			
		

	





	

		

			

				
					
【Playwright】比较Selenium和Playwright

				
			

			

				

					田辛_DensinTian的专栏
				

				

					02-27
					
					5109
					
				

			

		

		

			
				
这篇博客比较了两个流行的测试自动化框架，Selenium 和 Playwright。这两个框架都可以自动化 Web 应用程序测试，但它们的方法和功能不同。虽然 Selenium 已经存在了十多年并被广泛使用，但 Playwright 是微软开发的一个较新的框架。 Playwright 提供了一个高级 API，可以简化编写测试的过程，支持多种 Web 浏览器和平台，并具有内置的自动等待功能。相比之下，Selenium 拥有更广泛的社区，支持范围更广的编程语言。

			
		

	





	

		

			

				
					
《Playwright+Python 自动化测试 》第一章 环境准备与快速开始-上海悠悠.pdf

				
			

			

				

					01-04
				

			

		

		

			
				
【Playwright+Python 自动化测试】环境准备与快速开始  在自动化测试领域，Selenium 曾经是主流选择，但随着技术的发展，其他框架如 Cypress、Puppeteer 和 TestCafe 也逐渐崭露头角。然而，Playwright 作为新兴的...

			
		

	





	

		

			

				
					
Playwright+Python自动化测试课程

				
			

			

				

					05-20
				

			

		

		

			
				
常工作中，我们不可能避免得使用浏览器来完成一些工作，Python 也有不少浏览器自动化的工具，我用过 selenium、splinter、playwright，最终还是选择了微软的 playwright，之所以选择它，是因为它可以自动安装浏览器...

			
		

	





	

		

			

				
					
python selenium chrome 多开 多线程

				
			

			

				

					08-08
				

			

		

		

			
				
本主题聚焦于如何使用Python的Selenium与Chrome浏览器进行多开和多线程操作，结合phantomjs和chromedriver这两个关键组件来实现。首先，让我们详细了解一下这些概念。  1. **Selenium**: Selenium是一个强大的Web...

			
		

	





	

		

			

				
					
网络爬虫-如何获取网页中动态加载的验证码图片-Python实例源码.zip

				
			

			

				

					12-13
				

			

		

		

			
				
这篇文章将详细讲解如何使用Python来获取这些动态加载的验证码图片，并提供相关实例源码。  首先，了解验证码图片的动态加载方式至关重要。常见的动态加载技术包括JavaScript、AJAX或者使用WebGL等技术来生成和更新...

			
		

	





	

		

			

				
					
Playwright对比selenium

				
			

			

				

					m0_70618214的博客
				

				

					07-07
					
					1万+
					
				

			

		

		

			
				
Selenium和Playwright都是流行的自动化测试工具，都拥有丰富的功能和API，都可以用于Web应用程序的自动化测试。选择一个测试框架，必须考虑日常工作中的场景以及当前的团队，进而选择合适的自动化测试工具来进行测试。而不是使用一个新的花里胡哨的框架，然后一段时间后因为它没有满足我们的需求而抛弃它。

			
		

	





	

		

			

				
					
Playwright vs Selenium：最好用的自动化测试框架？

				
			

			

				

					禅与计算机程序设计艺术
				

				

					04-04
					
					2万+
					
				

			

		

		

			
				
选择一个自动化测试框架不是一件容易的事情，因为必须考虑到我们日常工作中的许多自动化场景。

			
		

	





	

		

			

				
					
如何利用 playwright对已打开的浏览器进行连接、操作

				
			

			

				

					小龙在线
				

				

					05-08
					
					7417
					
				

			

		

		

			
				
要使用Python的playwright连接操作已经打开的浏览器，需要使用playwright的方法。

			
		

	





	

		

			

				
					
playwright自定义浏览器设备、时区、经纬度、userAgent、注入脚本

				
			

			

				

					程序员石磊
				

				

					06-18
					
					4114
					
				

			

		

		

			
				
介绍
Playwright是一个强大的Python库，仅用一个API即可自动执行Chromium、Firefox、WebKit等主流浏览器自动化操作，并同时支持以无头模式、有头模式运行。
项目地址：https://playwright.dev/docs/intro
我最喜欢的特点

浏览器上下文并行：对具有浏览器上下文的多个并行、隔离的执行环境，重用单个浏览器实例。
自动等待: Playwright 可以自动等待元素，这将会提高自动化的稳定性，简化测试的编写。
支持多个域、页面和表单： Palywright

			
		

	





	

		

			

				
					
python+playwright 学习-17.模拟手机浏览器测试

				
			

			

				

					qq_27371025的博客
				

				

					03-16
					
					1373
					
				

			

		

		

			
				
使用 Playwright，您可以在任何浏览器上测试您的应用程序，也可以模拟真实设备，例如手机或平板电脑。

			
		

	





	

		

			

				
					
干货！Playwright架构与Selenium 架构对比

				
			

			

				

					liwenxiang629的博客
				

				

					02-27
					
					3428
					
				

			

		

		

			
				
在 Web 测试自动化方面，Selenium 多年来一直是行业的主导工具。但是，市场上还有许多其他自动化测试工具。Playwright是一种较新的工具，已经越来越受欢迎。网上有很多文章对二者进行对比，今天我从二者的架构角度进行一下对比分析！

			
		

	





	

		

			

				
					
跟selenium并肩的自动化神器 Playwright 的 Web 自动化测试解决方案

				
			

			

				

					与君初相识，犹如故人归
				

				

					03-21
					
					894
					
				

			

		

		

			
				
Playwright简介：Playwright优势：Python环境：python解释器+IDE工具，不知道怎么安装的可参考： python3.4 + pycharm 环境安装 + pycharm 使用Playwright环境：

			
		

	





	

		

			

				
					
强大易用！新一代爬虫利器 Playwright 的介绍

					
热门推荐

				
			

			

				

					Python数据之道
				

				

					12-14
					
					2万+
					
				

			

		

		

			
				
来源：进击的CoderPlaywright 是微软在 2020 年初开源的新一代自动化测试工具，它的功能类似于 Selenium、Pyppeteer 等，都可以驱动浏览器进行各种自动化操作...

			
		

	





	

		

			

				
					
使用docker 打包python +playwright 自动化测试代码

				
			

			

				

					05-09
				

			

		

		

			
				
可以使用以下步骤来打包Python和Playwright自动化测试代码：

1. 首先，创建一个文件夹，并在其中创建一个名为Dockerfile的文件。

2. 在Dockerfile中，使用以下代码来安装Python和Playwright依赖项：

```
FROM python:3.8-slim-buster

RUN apt-get update && apt-get install -y curl && \
    curl -sL https://deb.nodesource.com/setup_14.x | bash - && \
    apt-get install -y nodejs

WORKDIR /app

COPY requirements.txt .

RUN pip install -r requirements.txt && \
    npm install -g playwright
```

此代码使用Python 3.8和Debian 10作为基础映像，并安装了Node.js和curl。然后，在/app目录中安装Python和Playwright依赖项。

3. 接下来，在相同的目录中创建一个名为requirements.txt的文件，并在其中添加Python依赖项。例如：

```
selenium==3.141.0
pytest==6.2.2
playwright==1.10.0
```

4. 然后，将自动化测试代码复制到/app目录中。例如：

```
COPY test.py .
```

5. 最后，使用以下命令来构建Docker映像：

```
docker build -t mytest .
```

6. 运行Docker映像并执行自动化测试：

```
docker run --rm mytest python test.py
```

这将在Docker容器中运行自动化测试，并将输出结果打印到控制台。

注意：在Docker容器中运行自动化测试时，请确保设置正确的浏览器路径和浏览器选项。例如，使用Playwright时，请确保在代码中设置正确的浏览器路径和选项。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值