Python-selenium抓取动态页面 (2) -- 基本使用

最新推荐文章于 2022-06-08 15:44:19 发布
最新推荐文章于 2022-06-08 15:44:19 发布
阅读量294 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cyxueecust/article/details/103822005
版权
本文介绍python-selenium库的最基本的使用方法。我们实现一个非常简单的爬虫，抓取网页中的列表，模拟按钮点击，并抓取修改后的内容。代码示例网页是从w3schools上找的，在这个链接的基础上插入了一个列表。把网页内容保存到/root/workspace/test_page.html。<!DOCTYPE html><html><body>...
摘要由CSDN通过智能技术生成

本文介绍python-selenium库的最基本的使用方法。我们实现一个非常简单的爬虫，抓取网页中的列表，模拟按钮点击，并抓取修改后的内容。

代码示例

网页是从w3schools上找的，在这个链接的基础上插入了一个列表。把网页内容保存到/root/workspace/test_page.html。

<!DOCTYPE html>
<html>
<body>

<h2>What Can JavaScript Do?</h2>

<p id="demo">JavaScript can change HTML content.</p>

<button type="button" onclick='document.getElementById("demo").innerHTML = "Hello JavaScript!"'>Click Me!</button>

<ul class="list">
  <li>Coffee</li>
  <li>Tea</li>
  <li>Milk</li>
</ul> 

</body>
</html>

先把整体代码贴一下，后面进行具体解释。它可以打印出点击网页中的button前后，id=“demo”元素的文本内容。


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  cyxueecust
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
python Selenium运行报错：Windows找不到文件

				
			

			

				

					xxy_yang的博客
				

				

					11-29
					
					1240
					
				

			

		

		

			
				
selenium 运行打开谷歌浏览器报错
主要原因是找不到浏览器路径

解决方案如下：
# -*- coding:utf-8 -*-
from selenium import webdriver

from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('–no-sandbox')
chrome_options.add_argument('–dis

			
		

	



                

              
                



	

		

			

				
					
Selenium入门——动态多页网站并保存为csv

				
			

			

				

					ahc176的博客
				

				

					09-16
					
					426
					
				

			

		

		

			
				
以爬csdn为例：

代码：


import time
from selenium import webdriver
import pandas as pd

#保存为csv
def save_csv(arr, csv_filename=None):
    """Save the data in csv format"""
    if csv_filename == None:
        csv_filename="csv.csv"
    arr_df = pd.DataFrame(arr)


			
		

	



                


  
              

                


	

		

			

				
					
selenium得到一个动态页面

				
			

			

				

					呆萌的代Ma
				

				

					12-23
					
					836
					
				

			

		

		

			
				
selenium可以操纵浏览器加载页面，然后得到加载完成后的页面代码，从代码中提炼有效信息。
我使用的是python + Firefox ，分为以下步骤：


安装环境coding
一.安装环境：
1.安装Python操纵selenium的包：
pip install selenium


2.安装selenium操纵浏览器的插件：
详细查看这里：http://seleniu

			
		

	





	

		

			

				
					
Userland中debian系统打开chromium

				
			

			

				

					FreeDreamWings的博客
				

				

					02-12
					
					1064
					
				

			

		

		

			
				
在userland的debian系统安装chromium后无法直接打开，点击图标无反应，这时可以在命令行中输入chromium --disable-dev-shm-usage --no-sandbox可以打开chromium浏览器。



			
		

	



		

			
		



	

		

			

				
					
linux centos7 关于Python模拟浏览器踩坑（转载）

				
			

			

				

					yangshuzhi21的博客
				

				

					02-23
					
					759
					
				

			

		

		

			
				
https://cloud.tencent.com/developer/article/1404558






1、腾讯云服务器
2、Linux VM_0_10_centos 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
待运行python脚本：
from selenium import webdriver
option = webdriver.ChromeOpti

			
		

	





	

		

			

				
					
Python-selenium爬取.xmind

					
最新发布

				
			

			

				

					05-21
				

			

		

		

			
				
selenium模拟浏览器的抓取 	下载与导入 		File 		Settings 		选择项目 		+ 		输入selenium 	新建python文件，导入selenium中的webdriver 		from selenium from webdriver 下载webDriver 	网址 		...

			
		

	





	

		

			

				
					
python-selenium的使用——爬虫

				
			

			

				

					12-21
				

			

		

		

			
				
Python-selenium是一个强大的自动化测试工具，它允许程序员模拟真实用户在浏览器中的操作，这在爬虫领域非常有用，特别是对于动态加载或者需要交互才能显示完整内容的网页。在这个场景中，作者想要通过编写爬虫抓取...

			
		

	





	

		

			

				
					
Python-Selenium:在python中使用Selenium进行不同的Web抓取

				
			

			

				

					04-13
				

			

		

		

			
				
Selenium库是一个广泛使用的工具，它允许开发者模拟真实的用户行为，如点击按钮、填写表单和滚动页面，这对于Web测试和动态网站的数据抓取至关重要。在Python中集成Selenium，可以利用Python的简洁性和Selenium的...

			
		

	





	

		

			

				
					
python-贝壳-selenium+requests

				
			

			

				

					05-09
				

			

		

		

			
				
在本项目中，我们主要探讨如何使用Python编程语言结合`selenium`和`requests`库来抓取贝壳找房APP上的房源信息，并将其整理保存到Excel表格中。这涉及到网络爬虫技术、网页元素定位以及数据处理等多个方面。下面将...

			
		

	





	

		

			

				
					
Python爬虫-Selenium

				
			

			

				

					03-05
				

			

		

		

			
				
在Python中使用Selenium可以方便地进行网页动态内容的抓取，特别是在处理JavaScript渲染的网页时尤为有用。  在本次提供的资料中，我们关注的是122版本的Chrome驱动，即`chromedriver`，它是Selenium与Chrome浏览器...

			
		

	





	

		

			

				
					
最新版 chromedriver

				
			

			

				

					05-22
				

			

		

		

			
				
适用于最新版chrome浏览器的chromedriver，这个东西其实去官网也可以下载，但是我没有C币了，请开了会员或者不差C币的大佬下载，赐我一点积分QAQ

			
		

	





	

		

			

				
					
解决docker中运行scrapy使用chrome selenium报错InvalidSessionIdException: Message: invalid session id

				
			

			

				

					呆萌的代Ma
				

				

					10-11
					
					2844
					
				

			

		

		

			
				
本来在本地运行好好的scrapy，结果移植到docker中就报错，完整报错是：selenium.common.exceptions.InvalidSessionIdException: Message: invalid session id
大家可以在控制台搜索一下是否同时有这个报错：selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash
解决方法

			
		

	





	

		

			

				
					
Python爬虫学习第八天---Selenium模块

				
			

			

				

					lufei0920的博客
				

				

					06-08
					
					1802
					
				

			

		

		

			
				
python调用selenium模块实现访问chrome浏览器，并实现测试和爬虫操作。

			
		

	





	

		

			

				
					
Selenium启动Chrome时，加载用户配置文件

					
热门推荐

				
			

			

				

					百毒不侵的博客
				

				

					04-05
					
					1万+
					
				

			

		

		

			
				
Selenium操作浏览器是不加载任何配置的，网上找了半天，关于Firefox加载配置的多点，Chrome资料很少，下面是关于加载Chrome配置的方法：

　　一、加载所有Chrome配置

　　用Chrome地址栏输入chrome://version/，查看自己的“个人资料路径”，然后在浏览器启动时，调用这个配置文件，代码如下：

　　#coding=utf-8

　　from seleniu...

			
		

	





	

		

			

				
					
Linux root 用户下 selenium 运行chrome --no-sandbox的问题的解决

				
			

			

				

					weixin_30852451的博客
				

				

					05-15
					
					822
					
				

			

		

		

			
				
#coding = utf-8
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--no-sandbox")
driver= webdriver.Chrome(chrome_options=chrome_options)

d...

			
		

	





	

		

			

				
					
python selenium库的使用（一）

				
			

			

				

					野猫炫的博客
				

				

					10-06
					
					761
					
				

			

		

		

			
				
整体代码如下：


import time
from selenium import webdriver
from models import *


def get_driver():
    options = webdriver.ChromeOptions()
    # options.add_argument('--blink-settings=imagesEnabled=false')
    # options.add_argument('--headless')
    optio...

			
		

	





	

		

			

				
					
google浏览器未知错误导致安装失败_WebDriverException：未知错误：尝试启动Chrome浏览器时不存在...

				
			

			

				

					weixin_33603111的博客
				

				

					12-23
					
					1701
					
				

			

		

		

			
				
这个错误信息.。org.openqa.selenium.WebDriverException:unknownerror:DevToolsActivePortfiledoesn'texist.意味着ChromeDriver无法启动/产生新的韦布E.Chrome浏览器会议。您的代码测试和所有二进制文件的版本控制信息都会给我们一些提示，说明出了什么问题。然而，如添加-禁用-dev-shm-使...

			
		

	





	

		

			

				
					
Selenium访问网页三种等待方法-强隐显

				
			

			

				

					普天&同庆
				

				

					05-17
					
					4919
					
				

			

		

		

			
				
三种等待方法:强制等待,隐式灯带,显式等待

代码如下:


# coding:utf-8

import time
import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import We...

			
		

	





	

		

			

				
					
selenium基础操作

				
			

			

				

					qq_44336529的博客
				

				

					07-05
					
					837
					
				

			

		

		

			
				
1、selenium的介绍

  selenium支持web浏览器的自动化；主要由三个工具构成：  webdriver、IDE、Grid



2、selenium环境配置步骤

  准备好python环境；准备好selenium环境；下载浏览器对应的driver版本；driver配置环境变量；在python中import对应的依赖

3、selenium的安装

  配置好python环境；配置好pip工具；pip install selenium；或者在pycharm直接安装

4、dr...

			
		

	





	

		

			

				
					
python-selenium爬虫技术是什么

				
			

			

				

					04-23
				

			

		

		

			
				
Python-selenium爬虫技术是一种基于Python语言和Selenium框架的Web自动化测试工具，它能够模拟用户在浏览器中的各种操作，包括点击、输入、翻页、截屏等，以实现对Web页面的自动化访问、数据抓取和信息提取。...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值