什么是Beautiful Soup?
和 lxml 一样,Beautiful Soup 也是一个HTML/XML的解析器,主要的功能也是如何解析和提取 HTML/XML 数据,lxml 只会局部遍历,而Beautiful Soup 是基于HTML DOM的,会载入整个文档,解析整个DOM树,因此时间和内存开销都会大很多,所以性能要低于lxml。BeautifulSoup 用来解析 HTML 比较简单,API非常人性化,支持CSS选择器、Python标准库中的HTML解析器,也支持 lxml 的 XML解析器。
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。
我们简单来对比一下这个Python包:
抓取工具 | 速度 | 使用难度 | 安装难度 |
---|---|---|---|
正则 | 最快 | 困难 | 无(内置) |
BeautifulSoup | 慢 | 最简单 | 简单 |
lxml | 快 | 简单 | 一般 |
BS4的4种对象:
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:Tag , NavigableString ,BeautifulSoup,Comment 。
实例化BeautifulSoup对象
使用BeautifulSoup解析代码,能够得到一个 BeautifulSoup 的对象,并能按照标准的缩进格式的结构输出,实例代码如下:
from bs4 import BeautifulSoup
html = """
<html>
<head><title>story12345</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><span>westos</span><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister1" id="link2">python</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Java</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup = BeautifulSoup(html, 'lxml') # 使用lxml解析器进行解析,速度快。
print(soup.prettify()) # 按照指定的缩进格式补齐并显示html;
输出如下:
根据标签名称获取信息
仍然是根据上面的那段html做测试,测试代码如下:
soup = BeautifulSoup(html, 'lxml')
print(soup.title)
print("网页的标题: ", soup.title.text) # 获取指定标签里面的文本信息
print(soup.title.name)
输出结果如下:
获取的标签包含多个时, 默认返回第一个(attrs可以获取标签的所有属性),并且获取指定标签的属性有3种方式,测试代码如下:
# 获取的标签包含多个时, 默认返回第一个;
print(soup.a)
# 获取指定标签的属性(3种)
print(soup.a['href'])
print(soup.a['class'])
print(soup.a['id'])
print(soup.a.get('id'))
# attrs获取a标签的所有属性
print(soup.a.attrs)
输出结果如下:
修改标签里面的属性信息
测试代码如下:
print(soup.a['href'])
soup.a['href'] = 'http://www.baidu.com'
print(soup.a)
输出如下:
找到符合条件的所有标签
可以可利用find_all查找符合条件的所有标签,测试代码如下:
tagObj = soup.find_all('a')
print(tagObj)
print(len(tagObj))
输出结果为:
当然也可以查找指定类名或id的标签,代码如下:
tagObj = soup.find_all('a', class_='sister')
print(tagObj)
print(len(tagObj))
tagObj = soup.find_all('a', id='link1')
print(tagObj)
print(len(tagObj))
输出结果如下: