使用BeautifulSoup库对网页的解析

最新推荐文章于 2024-07-30 17:23:09 发布

凉梨汁儿

最新推荐文章于 2024-07-30 17:23:09 发布

阅读量2.1k

点赞数 1

文章标签： python html

本文链接：https://blog.csdn.net/weixin_45568391/article/details/111496746

版权

Beautiful Soup介绍和使用

BeautifulSoup可以从HTML或XML文件中提取数据。可以处理导航、搜索、修改分析树等。

手工获取html源代码，浏览器右键“查看源代码”

用requests库获得源代码

import requests
url = "https://lizhe.blog.csdn.net/"  #个人博客的url
res = request.get(url)
res.text

Beautiful Soup库是解析、遍历、维护“标签树”的功能库。
Beautiful Soup库，也叫beautifulsoup4或 bs4约定引用方式如下，即主要是用BeautifulSoup类。

导入方式：

from bs4 import BeautiflSoup
或
import bs4

安装：pip install bs4

解析器有：python标准库、lxml HTML解析器、lxml XML解析器、html5lib

BeautifulSoup(markup, "html.parser")   python标准库  文档容错能力强  速度慢
BeautifulSoup(markup, "lxml")   速度快 文档容错能力强 bs自带
BeautifulSoup(markup, ["lxml", "xml"])  速度快 支持XML解析器
BeautifulSoup(markup, "html5lib")  最好的容错性，以浏览器的方式解析文档，生成HTML5格式的文档  速度慢 不依赖外部扩展

BeautifulSoup对应一个HTML/XML文档的全部内容

在这里插入图片描述

from bs4 import BeautifulSoup
soup = BeautifulSoup("<html>你好<p>haha</p></html>", "html.parser")
soup2 = BeautifulSoup(open("hello.html"), "html.parser")

BeautifulSoup类的基本元素

Tag  标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾
Name   标签的名字，<p>…</p>的名字是'p'，格式：<tag>.name
Attribures  标签的属性，字典形式组织，格式：<tag>.attrs
NavigableString  标签内非属性字符串，<>…</>中字符串，格式：<tag>.string
Comment    标签内字符串的注释部分，一种特殊的Comment类型

标签的格式
在这里插入图片描述

HTML基本格式
在这里插入图片描述
标签遍历

标签树的下行遍历：

for child in soup.body.children:
	print(child)                    #遍历儿子节点

for child in soup.body.descendants:
	print(child)                    #遍历子孙节点

属性
.contents   子节点的列表，将<tag>所有儿子节点存入列表
.children    子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants   子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

BeautifulSoup类型是标签树的根节点

标签树的上行遍历：

soup = BeautifulSoup(demo ,"html.parser")
for parent in soup.a.parent:
	if parent is None:
		print(parent)
	else:
		print(parent.name)

遍历所有先辈节点，包括soup本身，所以要区别判断

属性
.parent   节点的父亲标签
.parents   节点先辈标签的迭代类型，用于循环遍历先辈节点

标签树的平行遍历：

for sibling in soup.a.next_sibling:  #遍历后续节点
	print(sibling)

for sibling in soup.a.previous_sibling:  #遍历前节点
	print(sibling)

属性
.next_sibling 返回按照HTML文本顺序的"下"一个平行节点标签
.previous_sibling  返回按照HTML文本顺序的"上"一个平行节点标签
.next_siblings  迭代类型，返回按照HTML文本顺序的"后续"所有平行节点标签
.previous_siblings  迭代类型，返回按照HTML文本顺序的"前续"所有平行节点标签

平行遍历发生在同一个父节点下的各节点间。
在这里插入图片描述

bs4的HTML格式输出

prettify()函数，让html格式更加直观可看。

为HTML文本<>及其内容增加更加’\n’

可用于标签，方法：<tag>.prettify()

r = open("hello.html")  #加载的本地html文件路径
soup2 = BeautifulSoup(r, "html.parser")
print(soup2.prettify())

在这里插入图片描述

bs4库将任何HTML输入都变成utf‐8编码

from bs4 import BeautifulSoup
soup = BeautifulSoup("<html>你好</html>", "html.parser")
print(soup.html.string)

输出
在这里插入图片描述

总结

在这里插入图片描述

凉梨汁儿

关注

1
点赞
踩
14

收藏

觉得还不错? 一键收藏
0
评论
使用BeautifulSoup库对网页的解析

Beautiful Soup介绍和使用BeautifulSoup可以从HTML或XML文件中提取数据。可以处理导航、搜索、修改分析树等。手工获取html源代码，浏览器右键“查看源代码”用requests库获得源代码import requestsurl = "https://lizhe.blog.csdn.net/" #个人博客的urlres = request.get(url)res.textBeautiful Soup库是解析、遍历、维护“标签树”的功能库。Beautiful Sou
复制链接

扫一扫