Python爬虫教程——解析网页中的元素

VIP文章 于 2023-09-28 19:44:11 发布
阅读量903 收藏
点赞数
分类专栏： python新手入门 python基础教程 爬虫 文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XM67_/article/details/133390133
版权

前言：
嗨喽~大家好呀，这里是小曼呐 ~
在这里插入图片描述
在我们理解了网页中标签是如何嵌套，以及网页的构成之后，

我们就是可以开始学习使用python中的第三方库BeautifulSoup筛选出一个网页中我们想要得到的数据。

接下来我们了解一下爬取网页信息的步骤。

一、基本步骤

想要获得我们所需的数据分三步
使用BeautifulSoup解析网页

Soup = BeautifulSoup(html,‘lxml’)

描述想要爬去信息的东西在哪里。

信息 = Soup.select(‘???’)

要知道它叫什么名字，如何去定位。

从标签中获得你想要的信息

<p>Something</p> 从标签中获取我们需要的信息，去掉一些没有用的结构，

并且把我们获取的信息按照一定格式装在数据容器中，方便我们去查询。

二、两种路径获得方式详解

接下来，我们首先进行第一步，如何使用BeautifulSoup解析网页

Soup = BeautifulSoup(html,'lxml')

实际上我们构造一个解析文件需要一个网页文件和解析查询库。

就好比左边的Soup是汤，html是汤料，而lxml是食谱。

今天我们需要讲的BeautifulSoup，通过我们告诉它元素的具体的位置，就可以向他指定我们想要爬去的信息。

找到相应的元素右键检查的，看到元素的代码信息进行右击，我们有两种方式获得标签的位置的具体描述方式

1.使用copy selector

2.使用copy XPath

这两种复制的路径有什么区别，接下来就让大家看一下

右键标签copy selector复制出来的路径


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  python_小曼
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
【python】用BeautifulSoup对象寻找网页上的元素

				
			

			

				

					Hit the keyboard hard
				

				

					07-08
					
					582
					
				

			

		

		

			
				
大家好，我是胡亥大魔王。今天介绍python中用BeautifulSoup对象寻找网页上的元素

			
		

	



                

              
                



	

		

			

				
					
【图文详解】python爬虫实战——5分钟做个图片自动下载器.zip

					
最新发布

				
			

			

				

					01-01
				

			

		

		

			
				
Python合法网页爬虫工具项目分享

内容概览：

这个分享包涵了我开发的Python爬虫工具项目，主要用于合法爬取某些网页信息。以下是主要内容：

源代码：包括Python代码和相关脚本。这些代码展示了如何使用Python进行网页抓取、解析和数据提取。
项目文件：除了代码，我还分享了整个项目的文件，包括设计稿、图标、图片等资源。这些资源对于理解项目背景和设计思路至关重要。
文档与操作手册：为了方便他人理解和使用我的作品，我编写了详细的操作手册和使用说明，同时提供了一份Markdown格式的文档，概述了项目的主要功能和特点。
学习笔记：在项目开发过程中，我记录了大量的学习笔记和心得体会。这些笔记不仅有助于理解项目的开发过程，还能为学习Python爬虫技术提供宝贵的参考资料。
适用人群：

这份项目合集适用于所有对Python爬虫开发感兴趣的人，无论你是学生、初学者还是有一定经验的开发者。无论你是想学习新的技术，还是想了解一个完整的项目开发流程，这份资料都将为你提供极大的帮助。

使用建议：

按部就班地学习：建议从基础的Python爬虫开发开始，逐步深入到实际应用中。通过实践，逐步掌握Python爬虫开发的各项技能。
参考项目文件和笔记：项目文件和笔记提供了丰富的背景信息和开发经验。在学习的过程中，不妨参考这些资料，以帮助你更好地理解和学习。
动手实践：Python爬虫开发是一门实践性很强的技能。通过实际操作，你可以更好地掌握Python爬虫开发的各项技能，并提高自己的实践能力。Python合法网页爬虫工具项目分享

内容概览：

这个分享包涵了我开发的Python爬虫工具项目，主要用于合法爬取某些网页信息。以下是主要内容：

源代码：包括Python代码和相关脚本。这些代码展示了如何使用Python进行网页抓取、解析和数据提取。
项目文件：除了代码，我还分享了整个项目的文件，包括设计稿、图标、图片等资源。这些资源对于理解项目背景和设计思路至关重要。
文档与操作手册：为了方便他人理解和使用我的作品，我编写了详细的操作手册和使用说明，同时提供了一份Markdown格式的文档，概述了项目的主要功能和特点。
学习笔记：在项目开发过程中，我记录了大量的学习笔记和心得体会。这些笔记不仅有助于理解项目的开发过程，还能为学习Python爬虫技术提供宝贵的参考资料。
适用人群：

这份项目合集适用于所有对Python爬虫开发感兴趣的人，无论你是学生、初学者还是有一定经验的开发者。无论你是想学习新的技术，还是想了解一个完整的项目开发流程，这份资料都将为你提供极大的帮助。

使用建议：

按部就班地学习：建议从基础的Python爬虫开发开始，逐步深入到实际应用中。通过实践，逐步掌握Python爬虫开发的各项技能。
参考项目文件和笔记：项目文件和笔记提供了丰富的背景信息和开发经验。在学习的过程中，不妨参考这些资料，以帮助你更好地理解和学习。
动手实践：Python爬虫开发是一门实践性很强的技能。通过实际操作，你可以更好地掌握Python爬虫开发的各项技能，并提高自己的实践能力。Python合法网页爬虫工具项目分享

内容概览：

这个分享包涵了我开发的Python爬虫工具项目，主要用于合法爬取某些网页信息。以下是主要内容：

源代码：包括Python代码和相关脚本。这些代码展示了如何使用Python进行网页抓取、解析和数据提取。
项目文件：除了代码，我还分享了整个项目的文件，包括设计稿、图标、图片等资源。这些资源对于理解项目背景和设计思路至关重要。
文档与操作手册：为了方便他人理解和使用我的作品，我编写了详细的操作手册和使用说明，同时提供了一份Markdown格式的文档，概述了项目的主要功能和特点。
学习笔记：在项目开发过程中，我记录了大量的学习笔记和心得体会。这些笔记不仅有助于理解项目的开发过程，还能为学习Python爬虫技术提供宝贵的参考资料。
适用人群：

这份项目合集适用于所有对Python爬虫开发感兴趣的人，无论你是学生、初学者还是有一定经验的开发者。无论你是想学习新的技术，还是想了解一个完整的项目开发流程，这份资料都将为你提供极大的帮助。

使用建议：

按部就班地学习：建议从基础的Python爬虫开发开始，逐步深入到实际应用中。通过实践，逐步掌握Python爬虫开发的各项技能。
参考项目文件和笔记：项目文件和笔记提供了丰富的背景信息和开发经验。在学习的过程中，不妨参考这些资料，以帮助你更好地理解和学习。
动手实践：Python爬虫开发是一门实践性很强的技能。通过实际操作，你可以更好地掌握Python爬虫开发的各项技能，并提高自己的实践能力。Python合法网页爬虫工具项目分享

内容概览：

这个分享包涵了我开发的Python爬虫工

			
		

	



                


  
              

                


	

		

			

				
					
用python实现对元素的长截图

				
			

			

				

					qq_38980730的博客
				

				

					11-13
					
					514
					
				

			

		

		

			
				
一.目标

浏览网页的时候，看见哪个元素，就能截取哪个元素当图片，不管那个元素有多长





二.所用工具和第三方库

python ,PIL,selenium

pycharm

三.代码部分

长截图整体思路:

1.获取元素

2.移动，截图，移动，截图，直到抵达元素的底部

3.把截图按照元素所在位置切割，在所有图片中只保留该元素

4.拼接



如果driver在环境变量中，那么...

			
		

	





	

		

			

				
					
Python 三种方法实现截图【详解+完整代码】

				
			

			

				

					xff123456_的博客
				

				

					12-31
					
					1万+
					
				

			

		

		

			
				
其实也大可不必哈哈哈

			
		

	



		

			
		



	

		

			

				
					
Python之抓取网页元素

				
			

			

				

					dcy22899的博客
				

				

					06-08
					
					249
					
				

			

		

		

			
				
import urllib.request

from bs4 import BeautifulSoup

url = "http://www.wal-martchina.com/walmart/store/14_hubei.htm"

user_agent = "Mozilla/5.0 (Windows NT 6.2; WOW64) Ap...

			
		

	





	

		

			

				
					
python中获取网页元素

				
			

			

				

					qq_15994257的博客
				

				

					09-06
					
					1万+
					
				

			

		

		

			
				
python中获取网页元素

一、方法概括


xml/html文本： 正则表达式re、xpath


json文件：jsonpath模块、正则表达式re


二、通用方法
使用所有方法获取页面元素都是需要先请求获取数据(爬虫)，对返回数据进行分析，获取数据通过 request.get/post ( … ) 方法，并接收返回数据。


语法：
response = request(url, headers=headers, proxies=proxies, ...)



其中 response 是用来接收

			
		

	





	

		

			

				
					
利用python定位网页上的元素

				
			

			

				

					weixin_33895016的博客
				

				

					12-15
					
					667
					
				

			

		

		

			
				
1. 想对网页上的元素进行操作，首先需要定位到元素。
以百度首页为例：
输入以下代码，打开百度首页：

# coding = gbk
from selenium import webdriver

chrome_driver_path = "C:\Python27\selenium\webdriver\chromedriver\chromedriver"
global browse...

			
		

	





	

		

			

				
					
python爬虫之定位网页元素的三种方式

					
热门推荐

				
			

			

				

					Barry的博客
				

				

					08-02
					
					3万+
					
				

			

		

		

			
				
在做爬虫的过程中，网页元素的定位是比较重要的一环，本文总结了python爬虫中比较常用的三种定位网页元素的方式。

1.普通的BeautifulSoup find系列操作

2.BeautifulSoup css选择器

3. xpath

这三种方式灵活运用，再配合上正则表达式，没有什么网页能难倒你啦。

我们以获取豆瓣电影top250第一页的电影标题为例来比较：


import reques...

			
		

	





	

		

			

				
					
python爬虫学习笔记（二）——解析内容

				
			

			

				

					01-20
				

			

		

		

			
				
– 获取到网页数据后，我们发现我们想要的信息隐藏在一堆无用信息之中，此时便需要解析网页数据的内容 补充：在一些其他的教程中，发现也可以用urllib模块获取数据，urllib模块是python内置的一个http请求库，不需要...

			
		

	





	

		

			

				
					
Python爬虫入门——信息组织与提取方法（2）

				
			

			

				

					01-20
				

			

		

		

			
				
  指从标记的信息中提取关注的内容。上一章提到的信息标记有三种形式：XML、JSON、YAML。 一般意义上的几种方法: 方法一：完整的解析信息的标记形式，再提取关键信息。像XML、JSON、YAML等，需要标记解析器，例如...

			
		

	





	

		

			

				
					
Python爬虫基础（2）  —— BeautifulSoup(解析数据，提取数据)

				
			

			

				

					01-20
				

			

		

		

			
				
获取网页源代码： import requests #调用requests库 res=requests.get('URL') ...用来解析和提取网页中的数据 解析数据：我们平时使用浏览器上网，浏览器会把服务器返回的HTML源代码翻译为我们能看懂的样子，之后才能

			
		

	





	

		

			

				
					
python 获取网页元素_Python爬虫--解析网页中的元素

				
			

			

				

					weixin_39762001的博客
				

				

					12-08
					
					2379
					
				

			

		

		

			
				
本次学习目的：学会筛选所需要的信息。解析网页的步骤：1.使用Beautiful解析网页Soup = BeautifulSoup(html,'lxml')描述要爬取的东西在哪里message = Soup.select()3.从标签中获得你要的信息1.使用BeautifulSoup解析网页Soup = BeautifulSoup(html, 'lxml)这一句代码的意思是，解析一个html文件，使用...

			
		

	





	

		

			

				
					
python网页教程_Python爬虫教程：解析网页中的元素

				
			

			

				

					weixin_39559486的博客
				

				

					12-29
					
					123
					
				

			

		

		

			
				
1. 基本步骤在我们了解标签嵌套在网页和网页的构成,我们可以开始学习使用第三方库BeautifulSoup在python中过滤出我们想要的数据在web页面。接下来,让我们看看抓取网络信息的步骤。有三个步骤,得到我们需要的数据。第一步:使用BeautifulSoup解析网页汤= BeautifulSoup (html, lxml的)。第二步:描述你想爬的地方的信息。信息=(? ? ?)知道什么是它的...

			
		

	





	

		

			

				
					
Python自动化获取页面元素

				
			

			

				

					他的博客
				

				

					07-17
					
					4398
					
				

			

		

		

			
				
一、获取页面title
#获取当前页面的标题显示的字段
title
from selenium import webdriver
import time  

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')  

#打印网页标题
print(browser.title)
#输出内容：百度一下，你就知道

二、获取页...

			
		

	





	

		

			

				
					
Python爬虫（一）--基础使用和获取网页全部元素信息

				
			

			

				

					weixin_45861658的博客
				

				

					05-20
					
					1825
					
				

			

		

		

			
				
@Python爬虫（一）
欢迎使用Markdown编辑器
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。
新的改变
我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式

			
		

	





	

		

			

				
					
使用 Python 的 requests 和 Beautiful Soup 来分析网页

				
			

			

				

					Free雅轩的博客
				

				

					07-14
					
					701
					
				

			

		

		

			
				
浏览网页可能占了你一天中的大部分时间。然而，你总是需要手动浏览，这很讨厌，不是吗？你必须打开浏览器，然后访问一个网站，单击按钮，移动鼠标……相当费时费力。如果能够通过代码与互联网交互，岂不是更好吗？在 Python 的  模块的帮助下，你可以使用 Python 从互联网中获取数据：


在以上代码示例中，你首先导入了  模块。接着，你创建了两个变量：其中一个叫做 ，它用来保存你要下载的 URL。在之后的代码中，你将能够在每次运行应用程序时提供不同的 URL。不过，就目前而言，最简单的方法是“硬编码”一个测试

			
		

	





	

		

			

				
					
Python实现网页自动化-浏览器查找元素（二）

				
			

			

				

					IT菜鸟，分享职场踩坑与打怪升级记录~
				

				

					05-22
					
					6441
					
				

			

		

		

			
				
欢迎关注我的微信公众号：编程技术圈获取更多精选内容





前言

在上一节中(Python实现网页自动化-初步使用（一））已经部署了Selenium+chromedriver的开发环境，在真正的开发之前，还需要学会利用浏览器来查找网页元素；

因为Selenium是通过程序来自动操控网页的控件元素，比如单击某个按钮、输入文本框内容等，若网页中有多个同类型的元素，好比有多个按钮，想要Selenium精准地单击目标元素，需要将目标元素的具体信息告知Selenium，让它根据这些信息在网页上找到该元素并进..

			
		

	





	

		

			

				
					
python爬虫（正则获取元素）

				
			

			

				

					qq_43255478的博客
				

				

					03-14
					
					204
					
				

			

		

		

			
				
【代码】python爬虫（正则获取元素）

			
		

	





	

		

			

				
					
python操作网页元素_基于python的selenium定位和操作页面元素的一些方法

				
			

			

				

					weixin_39768917的博客
				

				

					12-03
					
					952
					
				

			

		

		

			
				
1.元素定位1.1Chrome浏览器怎么获取页面元素1.2driver.find_element_by_id()说明：用页面id属性值定位元素1.2.1例子fromselenium importwebdriverdriver=webdriver.Chrome()#通过谷歌浏览器驱动driver.get('http://www.baidu.com')#打开百度网页ele=driver.fin...

			
		

	





	

		

			

				
					
 Python 从零开始爬虫(二)——BeautifulSoup解析网页

				
			

			

				

					06-09
				

			

		

		

			
				
好的，我已经记下了你的问题。关于Python从零开始爬虫(二)中的BeautifulSoup解析网页，我可以为你提供一些基本的信息。

BeautifulSoup是一个Python库，它可以将HTML和XML文档解析为树形结构，从而方便地提取出所需的信息。通过BeautifulSoup，我们可以轻松地获取HTML页面中的标签、属性和文本内容，并进行相应的处理。

使用BeautifulSoup有以下几个步骤：

1. 安装BeautifulSoup库。可以通过pip命令进行安装，如下所示：

   ```
   pip install beautifulsoup4
   ```

2. 导入BeautifulSoup库。在Python代码中，我们需要使用`from bs4 import BeautifulSoup`语句导入BeautifulSoup库。

3. 读取HTML文档。在使用BeautifulSoup进行解析之前，我们需要先读取HTML文档并将其转换成字符串类型。

4. 创建BeautifulSoup对象。使用`BeautifulSoup(html_doc, 'html.parser')`创建一个BeautifulSoup对象，其中`html_doc`是HTML文档的字符串，`html.parser`是解析器。

5. 解析HTML文档。使用BeautifulSoup对象的各种方法获取需要的信息，如获取标签、属性和文本内容等。

希望这些信息能够帮助你更好地理解Python从零开始爬虫(二)中的BeautifulSoup解析网页。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值