Python爬虫库BeautifulSoup获取对象(标签)名,属性,内容,注释

最新推荐文章于 2024-05-11 11:28:36 发布
最新推荐文章于 2024-05-11 11:28:36 发布
阅读量1.2w 收藏 21
点赞数 3
分类专栏： python教程 文章标签： 编程语言 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoxun05/article/details/104398259
版权

如何利用Python爬虫库BeautifulSoup获取对象(标签)名,属性,内容,注释等操作下面就为大家介绍一下
一、Tag(标签)对象

1.Tag对象与XML或HTML原生文档中的tag相同。

from bs4 import BeautifulSoup
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>','lxml')
tag = soup.b
type(tag)

bs4.element.Tag

2.Tag的Name属性

每个tag都有自己的名字，通过.name来获取

tag.name

'b'

tag.name = "blockquote" # 对原始文档进行修改
tag

<blockquote class="boldest">Extremely bold</blockquote>

3.Tag的Attributes属性

获取单个属性

tag['class']

['boldest']

按字典的方式获取全部属性

tag.attrs


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  python进步学习者
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    3
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    21
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Python爬虫入门8：BeautifulSoup获取html标签相关属性

				
			

			

				

					老猿Python
				

				

					01-30
					
					3535
					
				

			

		

		

			
				
本节介绍了BeautifulSoup对象的主要属性，通过这些属性可以访问特定标签和内容。

			
		

	



                

              
                



	

		

			

				
					
beautifulsoup获取属性_Python：BeautifulSoup-根据名称属性获取属性值

				
			

			

				

					weixin_29483277的博客
				

				

					01-12
					
					3557
					
				

			

		

		

			
				
Python：BeautifulSoup-根据名称属性获取属性值我想根据属性名称打印属性值，例如我想做这样的事情soup = BeautifulSoup(f) //f is some HTML containing the above meta tagfor meta_tag in soup('meta'):if meta_tag['name'] == 'City':print meta_tag[...

			
		

	



                


  
              

                


	

		

			

				
					
BeautifulSoup 获取 a标签里的文本内容

				
			

			

				

					12-21
				

			

		

		

			
				
说明
想要获取 a标签里的单词如下所示。

代码
from bs4 import BeautifulSoup
f = open("word.txt", "r")  # 设置文件对象
html = f.read()  # 将txt文件的所有内容读入到字符串html中
soup = BeautifulSoup(html, 'lxml')
# 获取a标签里的文本内容
for item in soup.find_all("a"):
    print(item.string)
    # 将单词写入five_star.txt 文件
    with open('five_star.txt', 'a',

			
		

	





	

		

			

				
					
Beautifulsoup查找标签及属性值

				
			

			

				

					Lizejin961019的博客
				

				

					04-15
					
					3万+
					
				

			

		

		

			
				
一、 查找a标签
（1）查找所有a标签
复制代码



for x in soup.find_all(‘a’):
print(x)



Elsie
Lacie
Tillie
复制代码
（2）查找所有a标签，且属性值href中需要保护关键字“”



for x in soup.find_all(‘a’, attrs={“class” :re.compile(‘lacie’)} ):
print(...

			
		

	



		

			
		



	

		

			

				
					
2024年6个最佳 Python 网页爬虫库（非常详细）零基础入门到精通，收藏这一篇就够了

				
			

			

				

					leah126的博客
				

				

					05-11
					
					2238
					
				

			

		

		

			
				
Selenium.5. Scrapy.6. urllibSeleniumSelenium 是一个广泛使用的 Python 抓取库，用于抓取动态 Web 内容。它通过单击按钮、填写表格等来模仿人类交互。Selenium 与许多浏览器兼容，例如 Chrome 和 Firefox，允许您选择最适合您的网络抓取项目的浏览器。这种灵活性有助于确保在不同的浏览器环境中获得一致的结果。👍 优点： 它可以抓取动态网页。多浏览器支持。👎 缺点：Selenium可能很慢。它无法获取状态代码。这既费时又费力。

			
		

	





	

		

			

				
					
BeautifulSoup 提取某个tag标签里面的内容

					
热门推荐

				
			

			

				

					磊啊磊
				

				

					08-19
					
					8万+
					
				

			

		

		

			
				
用的版本是BeautifulSoup4，用起来的确要比 re 好用一些，不用一个个的去写正则表达式，这样还是挺方便的。
比如我要获取高匿代理IP页面上的IP和端口，网址这里：点击打开链接，它的组织方式是这样的，如下图：


IP和端口 tr.td 标签里面，tr有class属性，属性有两种情况的值，对于这点我们可以用正则表达式来匹配下。当提取某一个标签里的具体内容时，可以用bs的 .str

			
		

	





	

		

			

				
					
beautifulsoup_Python笔记 | 使 Beautiful Soup 解析数据

				
			

			

				

					weixin_39626690的博客
				

				

					11-16
					
					140
					
				

			

		

		

			
				
点击上方蓝色字关注我们~Beautiful Soup，有了它我们可以很⽅便地提取出HTML或XML标签中的内容，实在是⽅便，这⼀节就让我们⼀起来感受⼀下BeautifulSoup的魅⼒。1. Beautiful Soup的简介简单来说，Beautiful Soup是python的⼀个库，最主要的功能是从⽹⻚抓取数据。官⽅解释如下：Beautiful Soup提供⼀些简单的、python...

			
		

	





	

		

			

				
					
beautifulsoup获取属性_Python爬虫常用模块：BeautifulSoup

				
			

			

				

					weixin_39648539的博客
				

				

					12-29
					
					547
					
				

			

		

		

			
				
BeautifulSoup用途    BeautifulSoup 借助网页的结构和属性等特性来解析网页，可以用它来方便地从网页中提取所需信息。    BeautifulSoup自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。BeautifulSoup依赖于解析器    它除了支持Python标准库中的HTML解析器外，还支持第三方解析器：用法示例    在以下示例中，使用的均...

			
		

	





	

		

			

				
					
python爬虫获取标签_Python爬虫之数据提取-selenium定位获取标签对象并提取数据

				
			

			

				

					weixin_39546747的博客
				

				

					11-29
					
					392
					
				

			

		

		

			
				
selenium提取数据知识点：了解 driver对象的常用属性和方法掌握 driver对象定位标签元素获取标签对象的方法掌握 标签对象提取文本和属性值的方法1. driver对象的常用属性和方法在使用selenium过程中，实例化driver对象后，driver对象有一些常用的属性和方法driver.page_source 当前标签页浏览器渲染之后的网页源代码driver.current_url...

			
		

	





	

		

			

				
					
python3爬虫获取html内容及各属性值的方法

				
			

			

				

					12-31
				

			

		

		

			
				
今天用到BeautifulSoup解析爬下来的网页数据 首先导入包from bs4 import BeautifulSoup 然后可以利用urllib请求数据 记得要导包  import urllib.request  然后调用urlopen，读取数据  f=urllib.request.urlopen(...

			
		

	





	

		

			

				
					
一个简单的python爬虫，原生python+BeautifulSoup

					
最新发布

				
			

			

				

					06-06
				

			

		

		

			
				
一个简单的python爬虫，原生python+BeautifulSoup  原生python+BeautifulSoup4 python3.4版本 所有脚本要和spider.py放到同一目录下 自行下载BeautifulSoup4 的类库 window下 pip install bs4即可 爬取知乎的爬虫 ...

			
		

	





	

		

			

				
					
python爬虫必备库BeautifulSoup4学习笔记

				
			

			

				

					05-24
				

			

		

		

			
				
完整介绍了python爬虫必备库BeautifulSoup4库里的几乎所有内容： Table Of Contents - Beautiful Soup 4.2.0 文档 - 对象的种类  - Tag  标签  - Name  Tag的名字  - Attributes 操作类似于字典 比如id，class_   - ...

			
		

	





	

		

			

				
					
【python】利用BeautifulSoup提取html中的标签、数据

				
			

			

				

					weixin_39407597的博客
				

				

					08-29
					
					5885
					
				

			

		

		

			
				
对于不熟悉HTML和正则表达式的人，可以用第三方模块包BeautifulSoup来提取HTML或XML中的数据。

			
		

	





	

		

			

				
					
第14.10节 Python中使用BeautifulSoup解析http报文：html标签相关属性的访问

				
			

			

				

					老猿Python
				

				

					09-11
					
					1413
					
				

			

		

		

			
				
一、	引言
在《第14.8节 Python中使用BeautifulSoup加载HTML报文》中介绍使用BeautifulSoup的安装、导入和创建对象的过程，本节介绍导入后利用BeautifulSoup对象访问相关标签数据。
本节案例中介绍处理的c:\temp\s1.html文件内容如下：
<!DOCTYPE html>
<html lang="zh-CN">
<he...

			
		

	





	

		

			

				
					
Python中利用BeautifulSoup4反查包含文本内容的标签

				
			

			

				

					陈广智的专栏
				

				

					05-08
					
					2290
					
				

			

		

		

			
				
目录1 问题引出2 问题分析3 解决方案
1 问题引出
编写爬取Amazon服装行业数据时，遇到一个问题：根据文本内容Next反查包含它的父标签。请看下面HTML片段
<li class="a-last">
<a href="/s?k=red+tshirt&amp;i=fashion-mens&amp;page=2&amp;qid=1588904638&a...

			
		

	





	

		

			

				
					
beautifulsoup关于标签的初学习

				
			

			

				

					HWP
				

				

					02-25
					
					425
					
				

			

		

		

			
				
代码：


import requests
from bs4 import BeautifulSoup
r = requests.get("https://python123.io/ws/demo.html")
print(r.text)
print("\n")
demo = r.text
print(demo)
soup = BeautifulSoup(demo, "html.parser")
...

			
		

	





	

		

			

				
					
python之BeautifulSoup之二  带属性值的抓取（find_all（'tag', attrs={'class':'value'}）

				
			

			

				

					icydust的博客
				

				

					09-27
					
					3万+
					
				

			

		

		

			
				
系统：Windows/python 2.7.11
利用BeautifulSoup库抓取页面的一些标签TAG值

再抓取一些特定属性的值
示例标签：

            
            进来呀都是自己喜欢的拿图就走你是狗






===============================以下为代码部分========================

			
		

	





	

		

			

				
					
Python爬虫工具BeautifulSoup使用详解

				
			

			

				

					2201_75362610的博客
				

				

					07-12
					
					1万+
					
				

			

		

		

			
				
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找、修改文档的方式。Beautiful Soup会帮你节省工作时间。

			
		

	





	

		

			

				
					
python tag对象下有多个标签、属性_Python爬虫库BeautifulSoup获取对象(标签)名,属性,内容,注释...

				
			

			

				

					06-12
				

			

		

		

			
				
可以使用BeautifulSoup库中的find()或find_all()方法来获取tag对象。对于tag对象，可以使用.name属性获取标签名，使用.attrs属性获取所有属性，使用.string属性获取内容，使用.comment属性获取注释。

以下是一个示例代码：

```python
from bs4 import BeautifulSoup

html = """
<html>
<head>
<title>BeautifulSoup Demo</title>
</head>
<body>
<p class="intro">Welcome to BeautifulSoup tutorial</p>
<div id="content">
    <h1>Python</h1>
    <p>Python is a programming language.</p>
    <p>It is widely used in data science and web development.</p>
</div>
<!-- This is a comment -->
</body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')

# 获取所有p标签
p_tags = soup.find_all('p')
for p in p_tags:
    print('Tag:', p.name)
    print('Attributes:', p.attrs)
    print('Content:', p.string)

# 获取注释
comment = soup.find(text=lambda text: isinstance(text, Comment))
print('Comment:', comment)
```

输出结果为：

```
Tag: p
Attributes: {'class': ['intro']}
Content: Welcome to BeautifulSoup tutorial
Tag: p
Attributes: {}
Content: Python is a programming language.
Tag: p
Attributes: {}
Content: It is widely used in data science and web development.
Comment:  This is a comment 
```

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值