用selenium抓取需要拉动滑滚条的页面内容

最新推荐文章于 2024-01-25 16:43:37 发布
最新推荐文章于 2024-01-25 16:43:37 发布
阅读量9.3k 收藏 9
点赞数 3
分类专栏： python 爬虫 文章标签： selenium 下拉条网页
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m_wuhua/article/details/51006691
版权

在进行网页抓取的时候，也许会碰到这样的问题：加载的页面要通过下拉条滑动才能显示完整的网页信息，这种网页也是通过js渲染出来的。
解决方法1：
通过selenium模拟浏览器，然后设置浏览器高度足够长，然后延时使之能够将页面的内容都能够加载出来

from selenium import webdriver
driver = webdriver.Firefox()
driver.set_window_size(1000,30000)
driver.get(url)
time.sleep(5)
 

解决方法2：
 

通过模拟浏览器去执行js去拉动滑滚条
 

from selenium import webdriver
driver = webdriver.Firefox()
driver.get(url)
 

driver.execute_script("window.scrollBy(0,3000)")
time.sleep(1)
driver.execute_script("window.scrollBy(0,5000)")
time.sleep(1)
像这种方法你得根据加载的内容去判定下拉的位置和次数，否则会只能获取到部分内容

 

 


                

        

        

    




    

      

        

            

              
                
                  漩涡无度
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    3
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    9
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  5
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

				
			

			

				

					09-20
				

			

		

		

			
				
主要介绍了Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

			
		

	



                

              
                



	

		

			

				
					
Selenium滚动条处理

					
热门推荐

				
			

			

				

					weixin_43937682的博客
				

				

					01-08
					
					1万+
					
				

			

		

		

			
				
Selenium是一个用于Web应用程序自动化测试工具，可以直接运行在浏览器中，针对页元素来进行定位并模仿认为操作。但是却无法控制滚动条，这时候只能借助JS了，selenium提供了一个操作js的方法:execute_script()，可以直接执行js的脚本。

一，控制滚动条纵向移动：


def  LongitudinalRolling(num):
    #num用来修改scrollTop，可以控制右侧滚动条滚动位置，0为滚动到顶部，10000为最底部
    js = "var q=document

			
		

	



                


  
              

                


	

		

			

				
					
Selenium解决滑块验证问题：自动化与技巧

					
最新发布

				
			

			

				

					萧鼎的博客
				

				

					01-25
					
					1768
					
				

			

		

		

			
				
使用Selenium结合适当的技巧和方法，你可以有效地解决滑块验证问题。在这种情况下，你可以考虑使用其他浏览器自动化工具库，如Google的Puppeteer。一旦你找到了滑块元素，你可以使用Selenium的click()或mouse_down()和mouse_up()方法来模拟拖动操作。然而，滑块验证机制的设计就是为了防止自动化工具的操作。滑块验证是一种常见的人机验证机制，用于识别和防止自动化程序的访问。模拟拖动操作时，你需要首先点击滑块，然后按住鼠标不放，同时移动到目标位置，最后松开鼠标。

			
		

	





	

		

			

				
					
python3[爬虫实战] 使用selenium，xpath爬取京东手机（下）

				
			

			

				

					徐代龙的技术专栏
				

				

					10-11
					
					1424
					
				

			

		

		

			
				
这次主要是进行京东具体某个店铺手机评论内容的爬取。本来是跟上一起写的，只是没有时间一块做总结，现在写上来是有点生疏了。这里是暂时获取一个商品的评论内容爬取的字段：评论内容，购买机型，评论人上代码：# -*- coding: utf-8 -*-
# @Time    : 2017/9/18 23:16
# @Author  : 蛇崽
# @Email   : [email protected]
#

			
		

	



		

			
		



	

		

			

				
					
selenium解决下拉表单和浏览器下拉进度条问题的问题

				
			

			

				

					ljf520lhy的博客
				

				

					11-18
					
					1105
					
				

			

		

		

			
				
selenium解决下拉表单和浏览器下拉进度条问题的问题

			
		

	





	

		

			

				
					
HtmlAgilityPack+Selenium爬取需要拉动滚动条的页面内容

				
			

			

				

					Mengyu的博客
				

				

					07-05
					
					482
					
				

			

		

		

			
				
C# HtmlAgilityPack+Selenium爬取需要拉动滚动条的页面内容
现在大多数网站都是随着滚动条的滑动加载页面内容的，因此单纯获得静态页面的Html是无法获得全部的页面内容的。使用Selenium就可以模拟浏览器拉动滑动条来加载所有页面内容。

前情提要

C#HtmlAgilityPack爬取静态页面

Selenium简介
Selenium是一个WEB自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），

			
		

	





	

		

			

				
					
selenium如何应对网页内容需要鼠标滚动加载的问题

				
			

			

				

					wumxiaozhu的博客
				

				

					08-02
					
					1万+
					
				

			

		

		

			
				
相信大家在selenium爬取网页的时候都遇到过这样的问题：就是网页内容需要用鼠标滚动加载剩余内容，而不是一次全部加载出网页的全部内容，这个时候如果要模拟翻页的时候就必须加载出全部的内容，不然定位元素会找不到，出现报错。

这里提供两种方法供大家参考

一，通过selenium模拟浏览器，然后设置浏览器高度足够长，最后延时使之能够将页面的内容都能够加载出来



import time
from ...

			
		

	





	

		

			

				
					
用selenium驱动浏览器往下滑动，刷新全部数据，实现所有数据都可获取

				
			

			

				

					weixin_43256057的博客
				

				

					05-30
					
					6565
					
				

			

		

		

			
				
意义：用selenium访问浏览器时，该网站可能只给你上半部分的数据，爬虫也只能获取这些数据了，你需要滑动到下面，它才给你返回下半部分的网页数据。这样就可以获取到该页面的全部数据。
scrollTop=8000的8000是可以自己调整，是指明要滑动的距离（单位：像素） 。
在self.dri.get(
‘https://search.jd.com/Search?keyword=华为手机&e...

			
		

	





	

		

			

				
					
Python爬虫实战（7）Selenium拉勾网

				
			

			

				

					Zlzzz的博客
				

				

					12-09
					
					534
					
				

			

		

		

			
				
Python爬虫实战（7）Selenium+拉勾网网页分析首页列表页详情页代码注意事项1.是否还有下一页的判断2.模拟打开新网页时，网页的输入3.文本的对齐输出结果

利用selenium和BeautifulSoup库爬取拉勾网的职位信息。

运行平台： Windows
Python版本： Python 3.8
IDE： Pycharm

       基本...

			
		

	





	

		

			

				
					
python爬虫之selenium下拉滚动示例

				
			

			

				

					naer_chongya的博客
				

				

					06-06
					
					4556
					
				

			

		

		

			
				
我们进入到一个无限滚动的新闻网站，对于这种网站的话，我们需要在模拟下拉滚动之前，先将页面初始化时加载完全，以避免页面加载速度影响我们的实验结果。模拟下拉滚动时，每次我们将页面向下滑动，之后等待2秒，再获取当前页面的高度，如果当前页面的高度与上一次得到的高度相同，那么说明已经滑动到了页面底部，那么我们就可以退出滚动操作的循环了。这个时候，我们需要获取页面的高度，并且模拟一个下拉操作，使得页面可以继续向下加载新的数据。首先，我们需要明确，在许多网站的滚动页面加载新的内容的时候，是需要进行下拉操作的。

			
		

	





	

		

			

				
					
selenium打开网页并下拉到网页底部的方法

				
			

			

				

					weixin_44204641的博客
				

				

					10-18
					
					4945
					
				

			

		

		

			
				
driver.execute_script(js) # 模拟鼠标滚轮，滑动页面至底部。driver = webdriver.Chrome()  #以谷歌浏览器驱动为例。这样就可以把网页下拉到底部，主要用于获取某些网页下面的页码，利于获取元素并点击。driver.get(url)  #按网址获取网页。

			
		

	





	

		

			

				
					
python中selenium操作下拉滚动条的几种方法汇总

				
			

			

				

					01-01
				

			

		

		

			
				
UI自动化中经常会遇到元素识别不到，找不到的问题，原因有很多，比如不在iframe里，xpath或id写错了等等；但有一种是在当前显示的页面元素不可见，拖动下拉条后元素就出来了。
比如下面这样一个网页，需要进行拖动下拉条后才能通过selenium找到密码输入框的元素，


在python中有几种方法解决这种问题，简单介绍下，给需要的人：
方法一）使用js脚本直接操作，方法如下：

js=var q=document.getElementById('id').scrollTop=10000
driver.execute_script(js）
或：

js=var q=document.do

			
		

	





	

		

			

				
					
python模拟网页滚动下拉实现

				
			

			

				

					03-04
				

			

		

		

			
				
python模拟网页下拉实现，进入网页后，实现右侧下拉条自动滚动

			
		

	





	

		

			

				
					
Selenium 滚动页面至元素可见的方法

				
			

			

				

					09-17
				

			

		

		

			
				
主要介绍了Selenium 滚动页面至元素可见的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

			
		

	





	

		

			

				
					
Python selenium抓取微博内容的示例代码

				
			

			

				

					09-20
				

			

		

		

			
				
本篇文章主要介绍了Python selenium抓取微博内容的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

			
		

	





	

		

			

				
					
selenium+JS页面滚动.docx

				
			

			

				

					06-22
				

			

		

		

			
				
selenium+JS页面滚动.docx

			
		

	





	

		

			

				
					
python引用与上级目录同目录文件夹下的文件方法

				
			

			

				

					m_wuhua的专栏
				

				

					12-15
					
					8315
					
				

			

		

		

			
				
目录结构：
project
   |-----Dir1
      |----file1
   |-----Dir2
      |----file2



file1要引用file2中的一个add方法：def  add(x,y):return  x+y


则在file1中可以这样导入add方法：



import sys
import os

import_dir = o

			
		

	





	

		

			

				
					
httplib下载http链接的DOC文档

				
			

			

				

					m_wuhua的专栏
				

				

					12-24
					
					1889
					
				

			

		

		

			
				
有时候用urllib库下载http链接的DOC文档时，得到的内容并不是预期想要的，也许是http链接的时候没有加header头伪装浏览器的原因，用httplib库可以避免这一问题：

import httplib
def sendhttp2():

   h = httplib.HTTP("www.nbjdfy.gov.cn" )

   h.putrequest('GET',"/File/c

			
		

	





	

		

			

				
					
selenium webdriver 抓取页面内容

				
			

			

				

					06-03
				

			

		

		

			
				
使用Selenium WebDriver可以方便地抓取页面内容。下面是一个Python示例代码：  1. 安装Selenium  ```python pip install selenium ```  2. 导入WebDriver  ```python from selenium import webdriver ```  3. 创建一...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 5

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值