爬虫基础-xpath模块

xpath介绍：

• xpath 是在XML文档中搜索内容的一门语言
  • html是XML的一个子集
• 导入模块：from lxml import etree
• 生成xpath解析对象：xxx = etree.HTML(需要解析的对象)
• 获取层级关系节点：xxx.xpath("")
  • 获取节点内的内容：在结尾加上 /text()

xpath检索：

• 选取此节点的所有子节点：nodename
• 表示一个层级，从根节点开始定位：/
• 表示多个层级，从任意位置开始定位：//
• 通配符，选择所有元素节点与元素名：*
• 选取当前节点：.
• 选取当前节点的父节点：...
• 选取属性：@
  • 例如：提取img标签中的src属性 -> @src
• 索引提取，下标从1开始：[number]
  • 例如：提取第二个li标签 -> li[2]
• 提取属性xxx为yyy的所有元素：[@xxx='yyy']
  • 例如：选取id=666的所有元素 -> [@id=666]
• 提取属性为xxx所有的元素：[@xxx]
  • 例如：选取id的所有元素 -> [@id]
• 注：xpath不能解析tbody标签，可用//进行跳过

实例：

# xpath练习
import requests
from lxml import etree
url = "https://shangqiu.zbj.com/search/f/?kw=saas"
res = requests.get(url)
# html解析
html = etree.HTML(res.text)
divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div")
for div in divs:
    title = div.xpath("./div/div/a[1]/div[1]/p/text()")[-1].strip("\n")
    price = div.xpath("./div/div/a[2]/div[2]/div[1]/span[1]/text()")[0].strip("¥")
    print("商家名称：", title, " -> 价格：", price)

xpath实用小技巧：

• 判断标签是否含有某些内容：
  • 例：xpath("//a[contains(text(), '下一页')]/@href")
• 获取倒数第二个标签：
  • 例：xpath("//ul/li[last()-1]/a/@href")
• 选取指定范围的标签：
  • 例：xpath("//ul/li[position()>3 and position()<9]/a/@href")