Python爬虫从入门到精通(3): BeautifulSoup用法总结及多线程爬虫爬取糗事百科

本文是Python爬虫从入门到精通系列的第3篇。我们将总结BeautifulSoup这个解析库以及常用的find和select方法。我们还会利用requests库和BeauitfulSoup来爬取糗事百科上的段子, 并对比下单线程爬虫和多线程爬虫的爬取效率。

 

什么是BeautifulSoup及如何安装

BeautifulSoup是一个解析HTML或XML文件的第三方库。HTML或XML文件可以用DOM模型解释，一般包含三种节点：

• 元素节点 - 通常指HTML或XML的标签(tag), 如title, p, a

• 文本节点 - 标签内部的文本内容(string 或者text)

• 属性节点 - 每个标签的属性(attribute)。

 

BeautifulSoup库可以对HTML或XML文件解析，查找到一个或多个标签元素(tag)，并获取每个标签里的文本和属性，这为我们python爬虫从html文本里提取所需要的内容提供了很大的便利。一个BeautifulSoup很好的特性是它接受一个str或byte对象后会对编码自动检测，并把当前文档编码并转换成Unicode编码，这样你就不用担心乱码问题了。

安装和使用只需要使用如下两个命令:

pip install beautifulsoup4

from bs4 import BeautifulSoup

我们还建议你安装lxml HTML解析库，比python自带的解析库html.parser更快。

pip install lxml

安装好BeautifulSoup对象后，你就可以创建soup对象，并开始后面的查找了。

soup = BeautifulSoup(html, "html.parser")
soup = BeautifulSoup(html, "lxml")

BeautifulSoup库的使用方法

BeautifulSoup对一个元素的查找主要有3中方法:

• 根据标签名直接查找 - 比如soup.title, soup.p，仅适用于查找单个元素

• 使用find和find_all方法 - 根据标签名和属性对文档遍历查找提取一个或多个元素。

• 使用select方法 - 根据css样式选择器对文档进行遍历提取一个或多个元素

# 根据tag直接获取元素
soup.p #获取p标签元素对象，只获取第一个
soup.p.name #获取p标签的名字，即'p"
soup.p.string # 获取p标签元素内的文本
soup.p['class'] #获取p标签元素的class属性
soup.p.get('class') #等同于上述案例
soup.a['href'] #获取第一个a元素的href属性


# find_all方法。find方法类似，仅用于提取首个匹配元素
# find_all( name , attrs , recur