爬虫教程---第三章：信息提取之XPath

第三章：信息提取

虽然学了前面两章可以自己爬取网页内容了，但这些内容夹杂了很多html代码啊，不相关的信息啊等等。

那本章就是解决一些手段对想要信息进行精准的提取，进而使爬取下来的信息都是我们想要的。

提取信息的技术有三种：XPath、BeautifulSoup、正则表达式 。

3.1 XPath

什么是 XPath ？（XML Path Language）

xpath是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。

---

工欲善其事，必先利其器。当我们掌握了XPath语法时，可以利用浏览器自带的插件来帮我们现在浏览器中进行语法测试。

• Goolege浏览器： XPath Helper
• 火狐浏览器：try XPath

来看一下基本用法：（我的是谷歌浏览器，火狐的操作也类似）

---

3.1.1 XPath语法：

1. 选取节点：使用路径表达式来选取XML文件中的节点或节点集。

   表达式	描述	实例	结果
   nodename	(节点名字)选取此节点的所有子节点	div	选取div下的所有子节点
   /	选择某节点下的直接指定子节点	div/p	div下的子p节点
   //	查找某节点下的所有指定子孙节点	/div//p	div下的所有子孙p节点
   @	选取某个节点的属性	//div[@class=‘j’]	选取所有拥有 class=“j” 的属性的div

2. 谓词：使用谓词来过滤一些节点，比如上面的 class=“j”

   • 格式：[谓词]

   • 路径表达式	描述
     /body/div[1]	body下的第一个直接div元素(下标从1开始)
     /body/div[last()]	最后一个div
     /body/div[position()< 3]	前面两个的div
     //div[contains(@class,‘f1’)]	模糊匹配：class属性中含有f1的div
     //div[@class=‘job’ and @id=‘ok’]	class=job并且id=ok的div
     //div[name]	所有拥有name属性的div

3. 通配符：

   通配符	描述	实例	结果
   *	匹配任意节点	/nook/*	选取nook下所有的子元素
   @*	匹配节点的任何属性	//book[@*]	选取所有带有属性的book元素

4. 选取多个路径： |

   • 同时获取class=‘c’的div和dd元素
     //div[@class='c'] | //dd
     

3.1.2 lxml库

lxml是用C语言编写的HTML/XML解析器，主要功能是如何解析和提取HTML/XML数据。

我们可以利用之前学习的XPath语法，来快速定位特定元素以及节点。

使用前需要先安装：pip install lxml

基本使用的方式有两种：一个是对字符串进行解析，另一个是对HTML文件进行解析。

---

解析HTML文件

运用场景：当你需要对一个HTML文件进行解析或提取一些信息的时候。

声明：为了方便演示，下面我将假设我在D://TEST.html路径下的内容都可以满足要查找的条件

# 第一步：从lxml中导入etree。
# 注意，由于lxml是用c写的所以etree会没有提示
from lxml import etree

# 指定HTML解析器
parser = etree.HTMLParser()
# 解析HTML文件
html = etree.parse('D://TEST.html',parser) # 返回的是一个Element对象

# 1、获取所有tr标签
trs = html.xpath("//tr")
for tr in trs:
    print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
    
#2、获取第2个tr标签
tr = html.xpath("//tr[2]")[0]  # xpath返回的永远是一个列表
print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))

#3、获取所有class等于even的tr标签
trs = html.xpath("//tr[@class="even"]")

#4、获取所有a标签的href属性（注意）
alist = html.xpath("//tr/@href")
for a in alist:
    print("a")

#5、获取所有职位信息
trs = html.xpath("//tr[position()>1]")
for tr in trs:
    # “.” 表示获取这个标签下的子孙元素。
    href = tr.xpath(".//a/@href")[0]
    print(href)
    text = tr.xpath(".//a/text()")  # 获取a标签下的文本内容

etree.HTMLParser() 是一种解析器方式，如果 **etree.parse**不指定解析器则默认使用的是XML解析器。

text() 表示提取该元素包裹的直接内容，比如<p>aaa</p> 当你使用p/text() 时获取到的内容为aaa。在比如<p><div>aaa</div></p>此时如果你使用 p/text() 的方法则获取不到内容，为什么呢？因为text()获取的是该标签下的内容，而aaa在div标签下，所以获取不到。

元素 /@ 属性名 的理解：表示取出该元素的属性名对应的属性值。区别于 /元素[@属性名=‘属性值’]

解析字符串

运用场景：当从网上爬取到信息时，需要对这些信息进行过滤，而这些爬取下来的信息就是字符串，所以我们可以利用lxml来解析它。

那来个小案例吧，这个小案例需要先把上面的5个知识点搞懂，理解起来才会比较容易。

案例：利用lxml爬取快代理的IP地址。

# 第一步：从lxml中导入etree。
from lxml import etree
import requests

# 要爬取的url，这里只爬取第一页内容
Proxy_url = "https://www.kuaidaili.com/free/inha/1/"
pro = ""  # 用来存放拼接好的IP地址
PROXY = []  # 存放爬取下来的IP地址的列表

# 获取爬取内容
response = requests.get(Proxy_url)
text = response.text

# 将爬取的字符串放进lxml中解析
html = etree.HTML(text)  # 返回的也是一个Element对象

# 利用xpath语法查找IP地址内容所在的元素
trs = html.xpath("//table[@class='table table-bordered table-striped']//tr")[1:]

# 把IP、端口号一个个提取出来并拼接在一起形成IP地址
for tr in trs:
	# 提取IP
    IP = tr.xpath("./td[@data-title='IP']/text()")[0]
    # 提取端口号
    PORT = tr.xpath("./td[@data-title='PORT']/text()")[0]
    # 拼接成url
    pro = "HTTP://" + IP + ":" + PORT
    PROXY.append(pro)
print(PROXY)

trs = html.xpath("//table[@class='table table-bordered table-striped']//tr")[1:] 这句代码的意思是选取class为table table-bordered table-striped的table 下面除去第一个的所有tr。因为你检查元素后会发现，第一个tr是没有用的，所以要除去第一个。

tr.xpath("./td[@data-title='IP']/text()")[0] 表示提取当前的**tr标签下的 含有data-title='IP' 的td** 下面的直接内容，又因为xpath返回的是一个列表，所以需要[0]。

小结：

1. 解析html字符串使用etree.HTML(string)解析，此方法默认使用HTML解析器。
2. 解析html文件使用etree.parse(‘文件路径’)解析，此方法默认使用XML解析器。
3. xpath返回的永远是一个列表
4. etree在lxml库中