Python3爬虫编程学习笔记（五）实战：爬取安居客房屋信息之 XPath学习

• lxml库之XPath语法
  爬取到网页源代码，并不是目的，爬虫的最终目的是采集到我们想要的数据，那么就必须进行数据提取。一般来说是利用Python自带的正则表达式re模块进行提取，无奈我只学到了表皮，为了不影响兴趣，学习路径定为lxml库的XPath语法–>BeautifulSoupy库–>正则表达式。

一、XPath基本语法

百度百科：XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。

XPath语法可用来在XML和HTML文档中对标签元素和属性进行遍历。所以在做爬虫时，完全可以使用XPath 来进行相应的信息提取。

在Python中使用XPath语法需要安装lxml库：

pip install lxml

1、XPath语法辅助工具

浏览器	辅助工具
Chrome浏览器	XPath Helper插件（扩展程序）
FireFox浏览器	try XPath插件

2、XPath语法简介

• 选取节点：

符号	说明
nodename	选取名称为nodname节点的所有子节点，如：head、body、div
/	如果是在最前面，代表从根节点选取，否则选择某节点下的某个节点，如：/html/body
//	从全局节点中选择节点（子孙节点），随便在哪个位置，如：//head//script 或 //div
@	选取拥有@example的所有节点的属性，如：//div@id，div中必须要有id属性
.	表示当前节点，“./”代表是当前节点的子节点
..	表示当前节点的父节点，“../a”代表a是孙节点

• 谓语：

示例	说明
/body/div[1]	下标获取第一个div节点，下标是从1开始不是从0开始
/body/div[last()]	获取最后一个元素
/body/div[position()<5]	获取前4个元素
//div/[@id]	选取所有拥有id属性的div元素
//book[@id=10]	取所有属性id=10的book元素
//div[contains(@class,‘f1’)]	div下包含多个class的情况下，使用模糊匹配
a/text()	提取a节点下面的文本内容

• 多节点选取：

示例	说明
//body/	获取所有节点
div@	获取所有拥有属性的div元素

• 选取多个路径：

• |   如：

//div[@class="job_bt"]|//div[@class="job_detail"]

• 运算符：
• 老师说用得多的主要是 “= < > != or and”，如:

//div[@class='abc' and id!='kkk']

3、XPath语法使用方式：

• 使用//获取整个页面当中的元素，然后写标签名，再写谓语进行提取：

divs=html.xpath('//div[@class="abc"]')

• 使用XPath需要注意的知识点：

1）/和//的区别：/代表只获取直接子节点，//获取子孙节点，一般情况下，//用得比较多。
2）contains：有时候某个属性中包含了多个值，那么可以使用’contains()'函数：

divs=html.xpath('//div[contains(@class，"job_detail")]')

3）谓语中的下标是从1开始的，不是从0开始的，列表、集合的下标才是从0开始的。
4）使用"xpath"语法，应该使用"Element.xpath()"方法来执行，返回永远是一个列表：

trs=html.xpath('//tr[position()>1]')