Python3爬虫之XPath语法和lxml模块

Python3爬虫之XPath语法和lxml模块

基本介绍

在从目标网站获得我们像要的数据后，我们需要从全站html中提取我们像要的数据，提取工具有（任选一种）

• XPath+lxml库（√）
• 美丽汤4（beautifulsoup4）
• 正则表达式

xpath（XML路径语言）是一门在XML和HTML文档中查找信息的语言，可用于XML和HTML文档中对元素和属性进行遍历。

基本知识

学习xpath我们需要对html的最小必要知识

节点关系

<bookstore>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

以上，book为父，其中4个为子，4个互为同胞，bookstore为其中所有元素的先辈

，同理bookstore其中所有元素又为其中所有元素的后代

选取语法

  <?xml version="1.0" encoding="UTF-8"?>
  <bookstore>
  	<book>
    	<title lang="eng">Harry Potter</title>  					<price>29.99</price>
    </book>
    <book> 
    	<title lang="eng">Learning XML</title>  		 			<price>39.95</price></book></bookstore>  
	</bookstore>

选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
…	选取当前节点的父节点。
@	选取属性。

在下面的表格中，列出了一些路径表达式以及表达式的结果：

bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<‘'3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=‘eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

Python系列CSDN博客地址：

如需更系统学习，下面是博主关于Python爬虫的系列学习博客

1. Python3爬虫入门（快速简易）
2. Python3爬虫系列之urllib库
3. Python3爬虫之request库
4. Python3爬虫之XPath语法和lxml模块
5. Python3爬虫之数据存储
6. Python3爬虫之Scrapy框架入门
7. Python3爬虫入门案例Scrapy爬取传智讲师个人信息
8. Python3爬虫之Scrapy框架模拟登陆人人网
9. Python3爬虫之Scrapy框架的下载器中间件
10. Python3反反爬虫之Scrapy设置随机请求头