Python3网络爬虫开发实战（3）网页数据的解析提取

一、XPath

XPath 的全称 XML Path Language，即 XML 路径语言，用来在 XML 文档中查找信息，同样适用于 HTML 文档的搜索；

1. 选取节点

表达式	描述
//*	选取所有节点
/	取子节点
//	取子孙节点
.	选取当前节点
…	选取当前节点的父节点
/@href	选取节点的href属性
/[@class=“item”]	选择 class 为 item 的子节点
/text()	获取文本
//[contains(@class, “li”)]	选择 class 中包含 li 的子节点
//[contains(@class, “li”) and contains(@class, “ll”)]	选择 class 中包含 li 和 ll 的子节点
//[contains(@class, “li”) and @name=“item”]	选择 class 包含 li 且 name 属性为 item 的节点
//[contains(text(), “内容”]	选择文本中包含内容的节点
//th[@class="id " and position()=1]	选择 class 为 id 的第一个位置的 th 节点
//div[(text()=‘更新’)]	选择文本为 更新 的 div 节点

2. 查找某个特定的节点或者包含某个指定的值的节点

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()❤️]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=‘eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]//title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

3. XPath 运算符

运算符	描述	实例	返回值
|	计算两个节点集	//book | //cd	返回所有拥有 book 和 cd 元素的节点集
+	加法	6 + 4	10
-	减法	6 - 4	2
*	乘法	6 * 4	24
div	除法	8 div 4	2
=	等于	price=9.80	如果 price 是 9.80，则返回 true。 如果 price 是 9.90，则返回 false。
!=	不等于	price!=9.80	如果 price 是 9.90，则返回 true。 如果 price 是 9.80，则返回 false。
<	小于	price<9.80	如果 price 是 9.00，则返回 true。 如果 price 是 9.90，则返回 false。
<=	小于或等于	price<=9.80	如果 price 是 9.00，则返回 true。 如果 price 是 9.90，则返回 false。
>	大于	price>9.80	如果 price 是 9.90，则返回 true。 如果 price 是 9.80，则返回 false。
>=	大于或等于	price>=9.80	如果 price 是 9.90，则返回 true。 如果 price 是 9.70，则返回 false。
or	或	price=9.80 or price=9.70	如果 price 是 9.80，则返回 true。 如果 price 是 9.50，则返回 false。
and	与	price>9.00 and price<9.90	如果 price 是 9.80，则返回 true。 如果 price 是 8.50，则返回 false。
mod	计算除法的余数	5 mod 2	1

4. 节点轴

轴名称	结果
ancestor::	选取当前节点的所有先辈（父、祖父等）。
ancestor-or-self::	选取当前节点的所有先辈（父、祖父等）以及当前节点本身。
attribute::	选取当前节点的所有属性。
child::	选取当前节点的所有子元素。
descendant::	选取当前节点的所有后代元素（子、孙等）。
descendant-or-self::	选取当前节点的所有后代元素（子、孙等）以及当前节点本身。
following::	选取文档中当前节点的结束标签之后的所有节点。
following-sibling::	选取当前节点之后的所有兄弟节点
namespace::	选取当前节点的所有命名空间节点。
parent::	选取当前节点的父节点。
preceding::	选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling::	选取当前节点之前的所有同级节点。

5. 利用 lxml 使用 XPath

from lxml import etree

text = 'html 代码'
html = etree.HTML(text) # 会自动修正 HTML 代码
result = html.xpath('xpath 选择器')

二、CSS

选择器	示例	示例说明
.class	.intro	选择所有class="intro"的元素
#id	#firstname	选择所有id="firstname"的元素
*	*	选择所有元素
element	p	选择所有<p>元素
element,element	div,p	选择所有<div>元素和 <p> 元素
element.class	p.hometown	选择所有 class=“hometown” 的<p> 元素
element element	div p	选择<div>元素内的所有<p>元素
element>element	div>p	选择所有父级是<div> 元素的 <p> 元素
element+element	div+p	选择所有紧跟在 <div> 元素之后的第一个 <p> 元素
[attribute]	[target]	选择所有带有target属性元素
[attribute=value]	[target=-blank]	选择所有使用target="-blank"的元素
[attribute~=value]	[title~=flower]	选择标题属性包含单词"flower"的所有元素
[attribute|=language]	[lang|=en]	选择 lang 属性等于 en，或者以 en- 为开头的所有元素
:link	a:link	选择所有未访问链接
:visited	a:visited	选择所有访问过的链接
:active	a:active	选择活动链接
:hover	a:hover	选择鼠标在链接上面时
:focus	input:focus	选择具有焦点的输入元素
:first-letter	p:first-letter	选择每一个<p>元素的第一个字母
:first-line	p:first-line	选择每一个<p>元素的第一行
:first-child	p:first-child	指定只有当<p>元素是其父级的第一个子级的样式。
:before	p:before	在每个<p>元素之前插入内容
:after	p:after	在每个<p>元素之后插入内容
:lang(language)	p:lang(it)	选择一个lang属性的起始值="it"的所有<p>元素
element1~element2	p~ul	选择p元素之后的每一个ul元素
[attribute^=value]	a[src^=“https”]	选择每一个src属性的值以"https"开头的元素
[attribute$=value]	a[src$=“.pdf”]	选择每一个src属性的值以".pdf"结尾的元素
[attribute*=value]	a[src*=“runoob”]	选择每一个src属性的值包含子字符串"runoob"的元素
p:firs-of-type	p:first-of-type	选择每个p元素是其父级的第一个p元素
:last-of-type	p:last-of-type	选择每个p元素是其父级的最后一个p元素
:only-of-type	p:only-of-type	选择每个p元素是其父级的唯一p元素
:only-child	p:only-child	选择每个p元素是其父级的唯一子元素
:nth-child(n)	p:nth-child(2)	选择每个p元素是其父级的第二个子元素
:nth-last-child(n)	p:nth-last-child(2)	选择每个p元素的是其父级的第二个子元素，从最后一个子项计数
:nth-of-type(n)	p:nth-of-type(2)	选择每个p元素是其父级的第二个p元素
:nth-last-of-type(n)	p:nth-last-of-type(2)	选择每个p元素的是其父级的第二个p元素，从最后一个子项计数
:last-child	p:last-child	选择每个p元素是其父级的最后一个子级。
:root	:root	选择文档的根元素
:empty	p:empty	选择每个没有任何子级的p元素（包括文本节点）
:target	#news:target	选择当前活动的#news元素（包含该锚名称的点击的URL）
:enabled	input:enabled	选择每一个已启用的输入元素
:disabled	input:disabled	选择每一个禁用的输入元素
:checked	input:checked	选择每个选中的输入元素
:not(selector)	:not§	选择每个并非p元素的元素
::selection	::selection	匹配元素中被用户选中或处于高亮状态的部分
:out-of-range	:out-of-range	匹配值在指定区间之外的input元素
:in-range	:in-range	匹配值在指定区间之内的input元素
:read-write	:read-write	用于匹配可读及可写的元素
:read-only	:read-only	用于匹配设置 “readonly”（只读） 属性的元素
:optional	:optional	用于匹配可选的输入元素
:required	:required	用于匹配设置了 “required” 属性的元素
:valid	:valid	用于匹配输入值为合法的元素
:invalid	:invalid	用于匹配输入值为非法的元素

三、Beautiful Soup

Beautiful Soup 支持的解析器有四种： html.parser，lxml，lxml-xml，html5lib

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup,“html.parser”)	1 Python的内置标准库 2 执行速度适中 3 文档容错能力强	Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup,“lxml”)	1.速度快 2.文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup,[“lxml-xml”])	1.速度快 2.唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup,“html5lib”)	1 最好的容错性 2以浏览器的方式解析文档 3生成HTML5格式的文档	1.速度慢 2.不依赖外部扩展

from bs4 import BeautifulSoup

html = 'html 文本'
soup = BeautifulSoup(html, 'lxml')
soup.prettify() # 可以将杂乱的 html 文本格式化，soup对于不标准的 HTML 字符串，自动更正格式，与prettify 无关；

1. 信息提取

soup.tagname 得到的结果是 bs4.element.Tag 类型，而 bs4.element.Tag 可以调用 string，name，attrs 获取 Tag 的信息；

soup.title # 选择 soup 下的第一个 title tag节点
soup.title.string # soup 下第一个 title tag节点的文本
soup.title.get_text() # soup 下第一个 title tag节点的文本
soup.title.name # soup 下第一个 title tag节点的名称 即title
soup.title.attrs # soup 下第一个 title tag 节点的attrs 是一个字典

2. 嵌套选择

bs4.element.Tag 类型在继续调用 tagname 后得到的仍然是 bs4.element.Tag 类型，因此我们可以嵌套获取信息

soup.head.title.string # 获得 soup 下第一个 head 下第一个 title 的 string

3. 关联选择

选取节点后，如果想要获取它的直接子节点，可以调用 contents 属性，实例如下

from bs4 import BeautifulSoup

html = 'html 文本'
soup = BeautifulSoup(html, 'lxml')

soup.p.contents # 获得直接子节点
soup.p.children # 等价于 soup.p.contents

soup.p.descendants # 获得所有的子孙节点

soup.p.parent # 获得p节点的父节点

soup.p.parents # 获取p节点所有祖先节点

soup.next_sibling # 获取节点的下一个兄弟节点

soup.previous_sibling # 获取节点的上一个兄弟节点

soup.next_siblings # 获取节点的后面的所有兄弟节点

soup.previous_siblings # 获取节点的前面的所有兄弟节点

4. 方法选择器

# 选择所有 tag 为 li，属性 id 为 list，text 中包含 link 的节点
soup.find_all(name='li', attrs={'id':'list'}, text=re.compile('link'))

# 选择第一个 tag 为 li，属性 id 为 list，text 中包含 link 的节点
soup.find(name='li', attrs={'id':'list'}, text=re.compile('link'))

• find_parents 和 find_parent：前者返回所有的祖先节点，后者返回父节点；
• find_next_siblings 和 find_next_sibling：前者返回后面的所有兄弟节点，后者返回前面第一个兄弟节点；
• find_previous_siblings 和 find_previous_sibling：前者返回前面的所有兄弟节点，后者返回后面第一个兄弟节点；
• find_all_next 和 find_next：前者返回节点后面所有符合要求的节点，后者返回后面第一个符合要求的节点；
• find_all_previous 和 find_previous：前者返回节点前面所有符合条件的节点，后者返回前面第一个符合要求的节点；

5. css 选择器

利用 soup.select(‘css选择器’) 来选择 tag，利用 select 返回的结果一定是一个列表

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')
soup.select('li')

四、PyQuery

1. 初始化

from pyquery import PyQuery

# 字符串的初始化
html = "文档字符串"
doc = PyQuery(html)

# url的初始化
doc = PyQuery(url='url 地址')

# 文件的初始化
doc = PyQuery(filename='index.html')

2. css 选择器

使用起来非常简单，直接 doc(‘css选择器’)

from pyquery import PyQuery

doc = PyQuery(url='https://www.baidu.com')
for i  in doc('div').items():
	# 解决编码问题
    print(i.html().encode('raw_unicode_escape').decode('utf-8', errors='ignore')) 

3. 信息提取

• attr：当返回结果包含多个节点时，调用 attr 方法只会得到第一个节点的属性，若要得到所有则需要使用 items() 遍历；
• html：返回的是 第一个节点内部的纯文本信息；
• text：返回的是所有节点内部的纯文本信息；

from pyquery import PyQuery

html = ''
doc = PyQuery(html)
a = doc('a')

# 获取属性
a.attr('href')
a.attr.href

# 获取文本
a.html()
a.text()

4. 节点操作

PyQuery 库提供了一系列方法对节点进行动态修改，例如为某个节点添加一个 class，移除某个节点等等，有时候这些操作会为提取信息带来极大的便利；

li = doc('li')

# 移除/添加 class 中 active 值
li.removeClass('active')
li.addClass('active')

# 获取 name 属性的值
li.attr('name')

# 修改 name 属性的值 为 'link'
li.attr('name', 'link')

# 获取纯文本
li.text()

# 改变纯文本
li.text('hello')

# 获取纯html
li.html()

# 改变html
li.html('html文本')

五、Parsel

Parsel 库可以解析 HTML 和 XML ，并支持使用 XPath 和 CSS 选择器对内容进行提取和修改，同时还融合了正则表达式的提取功能，parsel 是 Python 最流行的爬虫框架 Scrapy 的底层支持；

1. XPath 和 CSS 选择器

from parsel import Selector

html = ''
selector = Selector(text=html)

# css
items = selector.css('css选择器')
# xpath
items = selector.xpath('xpath选择器')

2. 信息提取

• get：从 selectorlist 对象中提取第一个 Selector 对象，然后输出其中的结果
• getall：从 selectorlist 对象中提取所有的 Selector 对象，然后以列表的形式输出其中的结果

# 提取文本
selector.css('css选择器::text()').get()
selector.css('css选择器::text()').getall()
selector.xpath('xpath//text()').get()
selector.xpath('xpath//text()').getall()

# 提取属性
selector.css('css选择器::attr(name)').get()
selector.css('css选择器::attr(href)').getall()
selector.xpath('xpath/@name()').get()
selector.xpath('xpath/@href()').getall()

3. 正则提取

• 如果选择器中是属性或者文本，那么 re 对属性或者文本进行匹配
• 如果选择器中不是属性和文本，那么 re 对该节点的 html 字符进行匹配

from parsel import Selector

html = ''
selector = Selector(text=html)
result = selector.css('css选择器').re('a.*')
result = selector.xpath('xpath').re('a.*')

result = selector.css('css选择器').re_first('a.*')
result = selector.xpath('xpath').re_first('a.*')