使用selenium抓取网页内容

最新推荐文章于 2024-08-13 20:32:54 发布
最新推荐文章于 2024-08-13 20:32:54 发布
阅读量9.8k 收藏 5
点赞数
文章标签： selenium javascript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stigin/article/details/73381561
版权
本文档记录了使用selenium抓取动态加载网页内容的过程，特别是针对百度文库的案例。由于网页内容分页且动态加载，selenium通过javascript与浏览器交互，模拟用户滚动行为来获取完整信息。文中提到了selenium的两种滚动方式，一种是滚动到特定位置，另一种是模拟用户自然滚动。
摘要由CSDN通过智能技术生成

      关于适用selenium抓文档的一个简单记录，以百度文库为例。selenium的原理大概是：利用javascript语句与浏览器驱动交互，从而控制浏览器操作网页的行为。

      而使用selenium实现爬虫一般是因为网页是动态加载的，目标内容需要经过一定操作才能在元素审查中出现。以百库文库为例（https://wenku.baidu.com/view/217d303c76eeaeaad0f33075.html），较大的文档的展示一般是通过分页展示，并且每一页的内容不会全部加载，要在浏览到当前页才会加载当前几页的内容。像这个文档，一次显示五十页，但是只会加载当前浏览进度处的三叶内容。因此要自动抓取这个内容需要实现滚动功能。

selenium有两种滚动方式：

第一种，滚动到特定位置“：

driver.execute_script('var q=document.body.scrollTop=3500') 滚动到页面的3500像素处（从上往下）（通过网页审查可以看到整个网页的像素大小）
第二种，以当前位置为参照，滚动一定距离：

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  stigin
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
selenium-baiduwenku:selenium 爬取百度文库

				
			

			

				

					05-02
				

			

		

		

			
				
说明
使用selenium爬取百度文库的文件(不需要vip的文件才能爬取)

			
		

	



                

              
                



	

		

			

				
					
Python使用selenium + headless chrome获取网页内容的方法示例

				
			

			

				

					09-18
				

			

		

		

			
				
主要介绍了Python使用selenium + headless chrome获取网页内容的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

			
		

	



                


  
              

                


	

		

			

				
					
Python3爬虫-selenium爬取百度文库

				
			

			

				

					trany_lin的博客
				

				

					07-26
					
					1636
					
				

			

		

		

			
				
      这是笔者爬取的第一个动态加载的网页，使用的IDE是Pycharm，选择的是百度文库的一篇16年六级卷子的文档。若直接使用requests模块去得到网页源码，会发现所得非所见，不能获取到文档中的内容。看了网上数篇博文的思路，最后还是尝试了使用selenium模块模拟安卓设备使用chrome浏览器访问，这样访问可以获得网页的完整源码。这篇文档默认加载了不到20%，点击“继续阅读”字样,之后...

			
		

	





	

		

			

				
					
使用Selenium爬取网络页面

				
			

			

				

					2401_84670644的博客
				

				

					08-13
					
					954
					
				

			

		

		

			
				
elenium 是一个功能强大的工具，适用于各种浏览器自动化和数据抓取需求。通过本文的指南，你可以开始使用 Selenium 进行网络页面爬取，并逐步掌握更多高级技巧。无论是数据分析、测试自动化还是其他自动化任务，Selenium 都能帮助你提高效率，减少重复劳动。

			
		

	



		

			
		



	

		

			

				
					
python selenium爬取百度文库

				
			

			

				

					FANtastic_Y的博客
				

				

					11-09
					
					497
					
				

			

		

		

			
				
参考博客
	
	selenium官方教程
	
	注意事项
	

	电脑版的网页源码中没有文库的内容，该方法适用于手机版的百度文库
	
	文档的内容有多页时需要点击继续阅读和加载更多按钮
在对这两个标签进行定位时，开始参考了这位博主写的方法，由于文库的网页源码更改故失败了。

后来受这位博主启发链接完成了‘继续阅读’的点击，但是这种方式用到‘点击加载更多’时又出现了标签覆盖的情况。具体见代码。
...

			
		

	





	

		

			

				
					
selenium手册_selenium爬虫操作网页（实战篇）

				
			

			

				

					weixin_39964391的博客
				

				

					12-08
					
					454
					
				

			

		

		

			
				
前面我们遇到了一个爬虫难题：爬虫最怕遇到JavaScript依赖性的动态网页，选择了[在R里面配置selenium爬虫环境]()，仅仅是安装和配置好了在R里面使用selenium爬虫，打开一个JavaScript控制的动态网页仅仅是爬虫的开始，接下来需要跟这个网页进行各式各样的交互。首先放出一些学习链接：https://ropensci.org/tutorials/rselenium_t...

			
		

	





	

		

			

				
					
Python selenium 爬取百度文库文章

				
			

			

				

					qq_34414876的博客
				

				

					11-24
					
					586
					
				

			

		

		

			
				
本次所爬取的文章页为https://wk.baidu.com/view/aa452c19647d27284b7351fa?sxts=1543041112658

首先下载需要的库:  selenium,beautifulsoup 关于selenium的中chromedriver的配置安装在我这篇文章可以找到https://mp.csdn.net/postedit/84401460


pip in...

			
		

	





	

		

			

				
					
C# 使用Selenium模拟浏览器获取CSDN博客内容

				
			

			

				

					06-04
				

			

		

		

			
				
在IT领域，自动化测试和网页抓取是两个重要的实践领域，而C#结合Selenium与Edge浏览器的使用，为开发者提供了高效且灵活的工具来实现这些功能。本篇将深入探讨如何利用C#和Selenium WebDriver模拟浏览器行为，特别是...

			
		

	





	

		

			

				
					
Python selenium抓取微博内容的示例代码

				
			

			

				

					09-20
				

			

		

		

			
				
Python Selenium抓取微博内容的示例代码向我们展示了如何利用Python编程语言结合Selenium自动化测试工具来抓取微博用户的数据和内容。Selenium是一个用于Web应用程序测试的工具，它能够模拟用户在浏览器中的操作行为...

			
		

	





	

		

			

				
					
selenium爬虫使用Microsoft Edge浏览器抓取网页信息

					
最新发布

				
			

			

				

					09-09
				

			

		

		

			
				
selenium爬虫使用Microsoft Edge浏览器抓取网页信息示例，功能介绍： 1、使用python+selenium； 2、使用Microsoft Edge浏览器； 3、使用XPATH获取网页元素； 4、获取网页的button，并自动点击，刷新下一页，直到获取...

			
		

	





	

		

			

				
					
Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

				
			

			

				

					09-20
				

			

		

		

			
				
在这篇文章中，主要介绍的是一种特定的网络爬虫技术，即使用Python语言结合Selenium和PhantomJS这两种工具，以实现对网页中通过Ajax技术动态加载的内容和动态HTML内容的抓取。这在处理现代网页，尤其是那些含有大量...

			
		

	





	

		

			

				
					
Python实现的爬取百度文库功能示例

				
			

			

				

					01-01
				

			

		

		

			
				
本文实例讲述了Python实现的爬取百度文库功能。分享给大家供大家参考，具体如下：

# -*- coding: utf-8 -*-
from selenium import webdriver
from bs4 import BeautifulSoup
from docx import Document
from docx.enum.text import WD_ALIGN_PARAGRAPH# 用来居中显示标题
from time import sleep
from selenium.webdriver.common.keys import Keys
# 浏览器安装路径
#BROWSER_

			
		

	





	

		

			

				
					
百度文库PDF爬虫

				
			

			

				

					07-04
				

			

		

		

			
				
一个基于Python的百度文库爬虫，
主要实现文库pdf文件的下载。

			
		

	





	

		

			

				
					
selenium基础：web页面操作（四大操作+三大等待+三大切换+鼠标键盘）

				
			

			

				

					大耳朵图图
				

				

					05-25
					
					405
					
				

			

		

		

			
				
web页面操作（四大操作+三大等待+三大切换+鼠标键盘+弹窗处理+滚动条操作）

			
		

	





	

		

			

				
					
Selenium如何操作页面元素

				
			

			

				

					wsfw014的专栏
				

				

					03-02
					
					782
					
				

			

		

		

			
				
(1)输入框
用sendKeys方法输入需要的字符串
sendKeys("aa");
(2)按钮
用click方法进行点击
driver.findElement(By.xpath("//form/input")).click();
(3)下拉选择框
使用Select类进行操作，但首先要导入org.openqa.selenium.support.ui.Select包
WebDrive

			
		

	





	

		

			

				
					
常用网页操作（selenium）

				
			

			

				

					Hi_XiaoQi的博客
				

				

					03-26
					
					819
					
				

			

		

		

			
				
个人总结的几个常用的网页操作方式，使用google浏览器
采用selenium库，需要安装：chromedriver
元素定位方式多种多样，这里统一采用 xpath 定位

一、启动浏览器
from selenium import webdriver


save_path = r"C:\Users\Aiden\Desktop"           # 下载路径
timeout = 2                                     # 超时等待时间
url = "https://.

			
		

	





	

		

			

				
					
python下载网页内容_使用selenium下载整个html页面内容

				
			

			

				

					weixin_39805732的博客
				

				

					11-24
					
					867
					
				

			

		

		

			
				
I need to download the whole content of html pages images , css , js.第一个选项：通过urllib或requests下载页面提取页面信息。通过beutiful soup或{}下载所有链接和编辑原始页面中的链接到相对位置。在缺点多个步骤。在下载的页面永远不会与远程页面相同。may be due to js or ajax conte...

			
		

	





	

		

			

				
					
使用Selenium自动化操作浏览器！

				
			

			

				

					m0_58026506的博客
				

				

					04-27
					
					1780
					
				

			

		

		

			
				
Selenium可以自动化操作浏览器，例如：选择元素，输入，点击等，可以用于软件自动化测试，爬虫等工作，也可以做你想做的任何事情。

			
		

	





	

		

			

				
					
Selenium入门必备：学会用代码控制浏览器，打开网页、找到元素和退出浏览器

				
			

			

				

					m0_70618214的博客
				

				

					05-18
					
					4845
					
				

			

		

		

			
				
大家好，我是凡哥。

作为一个想要学习Web自动化测试的小白，刚开始接触Selenium时可能会有些迷茫和不知所措。但是，不用担心，通过本文的学习，你将能够初步掌握Selenium的基础应用技能，包括如何用代码控制浏览器，打开并加载网页，找到并操作其中的元素，以及最后如何优雅地退出浏览器！

相信随着不断的实践和学习，你定能成为一名出色的Web自动化测试工程师。接下来，就让我们一起开始这段“陪伴式”学习之旅吧！

			
		

	





	

		

			

				
					
selenium 抓取网页内容

				
			

			

				

					08-10
				

			

		

		

			
				
使用Selenium可以方便地抓取网页内容。我们可以使用Selenium Python绑定提供的API来访问Selenium WebDriver的功能。下面是一个使用Selenium从动态加载的网页中抓取数据的示例代码：

```
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = 'https://www.example.com'
driver = webdriver.Chrome()  # 使用Chrome浏览器，需要先安装ChromeDriver并设置环境变量
driver.get(url)

# 等待页面元素加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, 'div.example_element')))

# 使用CSS选择器定位元素并获取文本内容
element = driver.find_element_by_css_selector('div.example_element')
text = element.text.strip()

# 打印抓取的内容
print(text)

driver.quit()  # 关闭浏览器
```

以上示例演示了如何使用Selenium WebDriver和Python来抓取网页的内容。更具体地说，我们使用WebDriver打开了一个网页，等待指定的元素加载完成后，通过CSS选择器定位元素并获取其文本内容。最后，我们打印出抓取的内容。请注意，在运行代码之前，您需要安装ChromeDriver，并设置环境变量以便Selenium可以找到它。123
#### 引用[.reference_title]
-  *1* [使用Selenium来爬取网页内容](https://blog.csdn.net/CoCo629vanilla/article/details/126266287)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item]
-  *2* *3* [使用Python和Selenium抓取网页内容](https://blog.csdn.net/weixin_39915649/article/details/131120944)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item]
[ .reference_list ]

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值