Python中beautifulsoup学习笔记一

最新推荐文章于 2022-08-18 23:58:40 发布

BruceHelloWorld

最新推荐文章于 2022-08-18 23:58:40 发布

阅读量307

点赞数

分类专栏： Python 专项测试移动测试文章标签： python 大数据

本文链接：https://blog.csdn.net/jlhx123456/article/details/106462025

版权

24 篇文章 2 订阅

订阅专栏

18 篇文章 1 订阅

订阅专栏

17 篇文章 1 订阅

订阅专栏

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .

BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象,它支持遍历文档树和搜索文档树中描述的大部分的方法.

Tag , NavigableString , BeautifulSoup 几乎覆盖了html和xml中的所有内容,但是还有一些特殊对象.

BeautifulSoup 对象本身一定会包含子节点,也就是说<html>标签也是 BeautifulSoup 对象的子节点

在HTML文档中TreeBuliders的选择是基于解释器创建的优先级。首先是lxml,然后是html5lib，最后是html.parser。

print(soup.prettify()) #html有顺序

唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.

soup.head.title 是 tag的名字方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法:

HTML解析器之间也有区别,如果被解析的HTML文档是标准格式,那么解析器之间没有任何差别,只是解析速度不同,结果都会返回正确的文档树.

但是如果被解析文档不是标准格式,那么不同的解析器返回结果可能不同.下面例子中,使用lxml解析错误格式的文档,结果</p>标签被直接忽略掉了:

BeautifulSoup("<a></p>", "lxml")
# <html><body><a></a></body></html>

典型案例：

find_all( name , attrs , recursive , text , **kwargs )
find( name , attrs , recursive , text , **kwargs )

关注