XPath 规则(XPath expressions)用于在 XML 或 HTML 文档中选择元素或节点。在 Scrapy 中,response.xpath() 方法用于根据这些规则从网页响应中提取数据。
以下是一些常用的 XPath 规则示例:
- 选择元素:
选择所有的 <a> 元素://a
选择所有的 <div> 元素://div
- 选择元素的属性:
选择所有 <a> 元素的 href 属性://a/@href
- 选择文本内容:
选择所有 <h1> 元素的文本内容://h1/text()
- 通过位置选择:
选择第一个 <p> 元素://p[1]
选择前三个 <a> 元素://a[position() <= 3]
- 通过条件选择:
选择所有带有 class 属性为 "highlight" 的 <div> 元素://div[@class="highlight"]
- 选择子元素:
选择所有 <div> 元素下的直接子元素 <p>://div/p
- 通配符选择:
选择所有元素://*
- 使用逻辑运算符:
选择同时满足两个条件的元素://div[@class="highlight" and @id="content"]
这些是一些基本的 XPath 规则,你可以根据实际情况和网页结构编写更复杂的规则。在 Scrapy 中,你可以在 Spider 的回调函数中使用 response.xpath() 方法,传入相应的 XPath 表达式,以提取你感兴趣的数据。