五、BeautifulSoup

最新推荐文章于 2024-07-20 09:00:00 发布
最新推荐文章于 2024-07-20 09:00:00 发布
阅读量74 收藏
点赞数
分类专栏： Python爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44776943/article/details/107567137
版权 
#BeautifulSoup模块简介和安装

from bs4 import BeautifulSoup

#CSS 选择器：BeautifulSoup4
#和lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器
#主要的功能也是如何解析和提取 HTML/XML 数据。


#模块下载安装：pip install bs4

#基础例子
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

#解析字符串形式的html
soup=BeautifulSoup(html,"lxml")

# #解析本地html文件
# soup2=BeautifulSoup(open("index.html"))


#格式化输出soup对象
print(soup.prettify())

# #根据标签名获取标签信息 soup.标签名
# print(soup.title)

# #获取标签内容
# print(soup.title.string)

# #获取标签名
# print(soup.title.name)

# #获取标签内所有属性
# print(soup.p.attrs["name"])

#获取直接子标签，结果是一个列表
# print(soup.head.contents)

#获取直接子标签，结果是一个生成器
# for i in soup.head.children:
# 	print(i)


#获取所有子标签，结果是一个生成器
for i in soup.p.descendants:
	print(i)
  
#根据字符串查找所有的a标签，返回一个结果集，里面装的是标签对象
# data=soup.find_all("a")
# for i in data:
# 	print(i.string)

#根据正则表达式查找标签
# data2=soup.find_all(re.compile("^b"))
# for i in data2:
# 	print(i.string)

#根据属性查找标签
# data3=soup.find_all(id="link2")
# for i in data3:
# 	print(i)

#根据标签内容获取标签内容
data4=soup.find_all(text="Lacie")
data5=soup.find_all(text=["Lacie","Tillie"])
data6=soup.find_all(text=re.compile("Do"))
print(data6)

#CSS选择器类型：标签选择器、类选择器、id选择器

#通过标签名查找
# data=soup.select("a")

#通过类名查找
# data=soup.select(".sister")

#通过id查找
# data=soup.select("#link2")

#组合查找
# data=soup.select("p #link1")

#通过其他属性查找
data=soup.select('a[href="http://example.com/tillie"]')


print(data)
Tomcatist
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python从0到100（三十五）：beautifulsoup的学习
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
07-08 2万+
和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持 lxml 的 XML解析器。
爬虫五 Beautifulsoup模块
weixin_30869099的博客
11-09 53
一 介绍 Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找Beautiful Soup3的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4,...
爬虫五 Beautifulsoup模块详细
weixin_30271335的博客
11-09 83
一、基本使用 from bs4 import BeautifulSoup htmlCharset = "GB2312" soup=BeautifulSoup(html_doc,'lxml', fromEncoding=htmlCharset) #具有容错功能,指定编码 res=soup.prettify() #处理好缩进，结构化显示 一、标签选择器 print(soup...
BeautifulSoup
wql2008的博客
10-08 1796
BeautifulSoup
BeautifulSoup简单说明
最新发布
weixin_41850878的博客
07-20 935
名称功能：从HTML或XML文件中提取数据编程语言：Python特点：接口设计人性化，使用方便，能够自动处理文档的编码问题，支持多种解析器。
BeautifulSoup爬取豆瓣电影数据
IT小辉同学
06-28 819
一定要热爱奥！！！
BeautifulSoup详解
热门推荐
trayvontang的博客
10-30 1万+
目录一、BeautifulSoup构建1.1 通过字符串构建1.2 从文件加载二、Tag对象2.1 string、strings、stripped_strings2.2 get_text()2.3 属性三、contents、children与descendants3.1 parent、parents3.2 next_sibling、previous_sibling3.3 next_element、...
beautifulsoup的基本使用
“落花难回枝头上”
06-21 322
beautifulsoup的基本使用
BeautifulSoup使用
kzl_knight的博客
07-21 719
一实例html bs4.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>bs4_text</title> </head> <body> <div id = "id1" name = "div1" class = "...
Python爬虫包BeautifulSoup学习实例（五）
12-25
本文为大家分享了Python爬虫包BeautifulSoup学习实例，具体内容如下 BeautifulSoup 使用BeautifulSoup抓取豆瓣电影的一些信息。 # -*- coding: utf-8 -*- # @Author: HaonanWu # @Date: 2016-12-24 16:18:01 # @...
python爬虫学习笔记之Beautifulsoup模块用法详解
09-17
**五、解析器之间的差异** 不同解析器在处理不标准的HTML时，其解析结果可能会有所差异。例如，HTML解析器可能忽略某些错误的标签，而html5lib库则会尝试修复这些错误，使其符合HTML5标准。因此，在编写爬虫代码时...
[Python从零到壹] 五.网络爬虫之BeautifulSoup基础语法万字详解
杨秀璋的专栏
11-08 1万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望
实战：爬取音乐网站(Requests)
qq_44776943的博客
07-24 1218
实战：爬取音乐网站(Requests) import re # python 的正则库 import requests # python 的requests库 import time # page=int(input("请输入您要爬取的页数：")) songID=[] songName=[] page_size = int(input("请问要爬取第几页呢：")) for i in range(0,page_size): url="http://www.htqyy.com/top/m
请求头和响应头
qq_44776943的博客
07-24 1090
请求报头 1. Host (主机和端口号) Host：对应网址URL中的Web名称和端口号，用于指定被请求资源的Internet主机和端口号，通常属于URL的一部分。 2. Connection (链接类型) Connection：表示客户端与服务连接类型 \1. Client 发起一个包含 Connection:keep-alive 的请求，HTTP/1.1使用 keep-alive 为默认值。 \2. Server收到请求后： o 如果 Server 支持 keep-alive，回复一个包含 Co
二、Requests
qq_44776943的博客
07-24 487
import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Ap\ pleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Sa\ fari/537.36" } wd={"wd":"中国"} response=requests.get("http://www.baidu.com/s?",params=wd,headers=headers
实战：贴吧爬虫(Urllib)
qq_44776943的博客
07-24 437
实战：贴吧爬虫 # 实战：贴吧爬虫 from urllib import request import urllib import re import random #反爬虫1 ： 伪装浏览器的爬虫 #构造请求头信息 agent1="Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; BLA-AL00 Build/HUAWEIBLA-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0
实战：百度贴吧图片爬虫(Urllib+xpath)
qq_44776943的博客
07-24 353
实战：百度贴吧图片爬虫(Urllib+xpath) #百度贴吧图片爬虫 import urllib import urllib.request from lxml import etree # 全局取消证书验证 import ssl ssl._create_default_https_context = ssl._create_unverified_context class Spider(object): def __init__(self): self.beginPage=1
实战：爬取糗事百科(多线程)
qq_44776943的博客
07-24 260
实战：爬取糗事百科(多线程) #多线程爬取糗事百科 # 使用了线程库 import threading # 队列 import queue import requests import time from lxml import etree # https://www.qiushibaike.com/8hr/page/1/ # https://www.qiushibaike.com/8hr/page/2/ # https://www.qiushibaike.com/8hr/page/3/ #'//div
beautifulsoup笔记
08-19
BeautifulSoup是一个Python库，用于从HTML或XML文件中提取数据。它提供了一种简单而灵活的方式来解析和遍历标记文档，并提供了许多有用的方法和属性来获取所需的信息。 在BeautifulSoup库的学习笔记中，介绍了BeautifulSoup库的简介和安装方法。它可以通过pip进行安装，并且有多种解析器可供选择。BeautifulSoup类有五种基本元素，包括Tag标签、Name名字、Attributes属性、NavigableString非属性字符串和Comment注释。它们可以用于遍历标签树的下行、上行和平行遍历。此外，BeautifulSoup几乎覆盖了HTML和XML中的所有内容，还包括一些特殊对象，例如文档的注释部分。 需要注意的是，BeautifulSoup对象本身不是真正的HTML或XML的tag，因此它没有name和attribute属性。但是，在某些情况下，查看它的.name属性是很方便的，因此BeautifulSoup对象包含了一个特殊属性.name，其值为"[document]"。另外，还有一些特殊对象，例如注释对象，可以通过使用BeautifulSoup库来处理。 综上所述，BeautifulSoup库提供了强大的解析和提取HTML或XML中数据的功能，适用于各种爬虫和数据提取任务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [BeautifulSoup库学习笔记一](https://blog.csdn.net/weixin_43978546/article/details/104858873)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [BeautifulSoup 学习笔记](https://blog.csdn.net/zhengjian0617/article/details/81142540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值