本文介绍了如何使用Scrapy框架结合BeautifulSoup解析HTML文档，通过实例演示如何从非标准格式的网页中提取所需数据，包括安装BeautifulSoup库、标准化HTML文件及基本的Tag和Name操作。
轻轻学爬虫—scrapy框架巧用5—猴子偷桃（1）
上节课讲了爬虫启动过程，相信大家对框架有了一些认识，今天我们来讲爬虫分支，解析页面。
我们把一个桃树比作我们抓的数据，但是只有书上的桃子使我们需要的，其他的数据我们不要，我们该如何拿这些桃子呢？
这就用到了我们解析神器—美丽的汤。
Beautiful Soup
Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。
安装
目前Beautiful Soup更新到了第四个版本。用下面命令安装
pip install bs4
安装好之后我们就可以使用了。
我们有一个html文件。
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
这个文件不是标准，我们先将文件进行标准化。标准化我们要将html文件解析，解析我们有两个常用的解析库。
解析库
| 解析器 | 使用方法 | 优势 | 劣势 |
|---|---|---|---|
| Python标准库 | BeautifulSoup(markup, "html.parser") | Python的内置标准库执行速度适中文档容错能力强 | Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差 |
| lxml HTML 解析器 | BeautifulSoup(markup, "lxml") | 速度快文档容错能力强 | 需要安装C语言库 |
第一个是系统自带的，第二个库是三方库我们需要安装。用下面命令即可安装。
pip install lxml
我们这里先用标准库进行解析。
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')
soup.prettify()
print(soup)
#得到下面结构化的html
""“<html>
<head>
<title>
The Dormouse's story
</title>
</head>
<body>
<p class="title">
<b>
The Dormouse's story
</b>
</p>
<p class="story">
Once upon a time there were three little sisters; and their names were
<a class="sister" href="http://example.com/elsie" id="link1">
Elsie
</a>
,
<a class="sister" href="http://example.com/lacie" id="link2">
Lacie
</a>
and
<a class="sister" href="http://example.com/tillie" id="link3">
Tillie
</a>
;
and they lived at the bottom of a well.
</p>
<p class="story">
...
</p>
</body>
</html>"""
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象。
Tag
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')
soup.prettify()
tag = soup.b
print(tag)
print(type(tag))
# <b>The Dormouse's story</b>
# <class 'bs4.element.Tag'>
Name
每个tag都有自己的名字,通过 .name 来获取:
print(tag.name)
# b
如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档:
tag.name = "blockquote"
print(tag)
# <blockquote>The Dormouse's story</blockquote>
由于bs4内容过多这里只讲一部分知识。欢迎小伙伴收藏防止走丢。
码字不易，欢迎大家在评论区留言，收藏。或者加入群聊一起进步学习。
扫一扫
717
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
