scrapy作业——第三章复述，使用Selector提取数据的方式介绍_from scrapy.selector import selector-CSDN博客

本文链接：https://blog.csdn.net/weixin_41593821/article/details/88637833

本文介绍了Scrapy中使用Selector提取数据的方法，包括创建Selector对象、选择数据的XPath和CSS函数。讲解了如何通过响应对象创建选择器，以及各种XPath选择器的用法，如绝对路径、相对路径、属性选择等。还提到了如何通过extract()和extract_first()获取提取的内容。

摘要由CSDN通过智能技术生成

使用Selector提取数据的方式介绍

selector对象

selector对象

Python中常用以下模块处理HTTP文本解析问题

Beautifulsoup
lxm

1.创建对象
创建对象时可以调用text参数

from scrapy.selector import Selector
text=’’’
<html></html>
’’’
selector=Selector(text=text)

或者使用一个response对象构造selector是response参数更方便

from	 scrapy.selector import Selector
from scrapy.http import HtmlResponse
body=’’’
’’’
response=HtmlResponse(url=’url’,body=body,encoding=’utf8’)
selector=Selector(response=response)

2.选中数据的方法有两类xpath函数和css函数，css函数的语法相对简单，然而css在调用时内部实际上还是会翻译成xpath，所以掌握xpath就好
3.可以用sel=Selector(response=response)来初始化一个选择器sel然后再使用sel.xpath(’’)，也可以直接使用response自带的选择函数response.xpath(’’)

使用简单情形介绍

/：描述从根开始的绝对路径
E1/E2：选中E1子节点中的所有E2
//E：选中文档中的所有E，无论在什么位置（特别注意这个命令即便是你在前面限定了搜索范围，//会自动跳出你设置的范围而在全html代码（前提是你限制的类标签中）当中搜索，这给范围限制会带来麻烦，所以一般不轻易用//）
举个例子：代码中有两块<div>两块<div>中分别有<a>，你现在通过迭代循环的方法先选定了第一个<div>，你想提取仅第一块<a>，你使用了.//a，但是发现第二块<div>同样被你选中了.如果改成./div/a的话会精确许多
E1//E2：选中E1后代节点中的所有E2
E/text()：选中E的文本子节点（释放所有夹在<>…<>中间的…部分）
E/*：选中E的所有元素子节点
*/E：选中孙节点中的所有E
E/@ATTR：选中E的ATTR属性，例如//img/@src
//@ATTR：选中文档中所有ATTR属性
E/@*：选中E的所有属性
.：选中当前节点
node[谓语]：这个用法非常常见，如选定

这样所有带有id的div标签
用法就是div[@id],选中所有div带有id属性且值为hot的标签就是div[@id=”hot”]
同时还有position函数能够帮助在带有相同属性的标签中选择某几个位置上的那些
a[last()]就是选定最后一个 <a>``</a>
a[position()<=3]就是选定前三个 <a>``</a>
a[3]就是选中第三个 <a>``</a>（从1开始）
a[contains(@class,”info”)] 选定class属性中包含”info”的a元素