爬虫——Scrapy中选择器的基本使用(转)

最新推荐文章于 2023-06-09 18:56:06 发布
最新推荐文章于 2023-06-09 18:56:06 发布
阅读量193 收藏
点赞数
文章标签： python 爬虫 shell
原文链接：http://www.cnblogs.com/lymlike/p/11599080.html
版权

原文链接https://www.cnblogs.com/zhaof/p/7189860.html

Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分
Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。
CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HTML元素的样式相关联。

XPath选择器

常用的路径表达式，这里列举了一些常用的，XPath的功能非常强大，内含超过100个的内建函数。
下面为常用的方法

复制代码 
nodeName    选取此节点的所有节点
/           从根节点选取
//          从匹配选择的当前节点选择文档中的节点，不考虑它们的位置
.           选择当前节点
..          选取当前节点的父节点
@           选取属性
*           匹配任何元素节点
@*          匹配任何属性节点
Node()      匹配任何类型的节点
复制代码

CSS选择器

CSS层叠样式表，语法由两个主要部分组成：选择器，一条或多条声明
Selector {declaration1;declaration2;……}

下面为常用的使用方法

复制代码 
.class              .color              选择class=”color”的所有元素
#id                 #info               选择id=”info”的所有元素
*                   *                   选择所有元素
element             p                   选择所有的p元素
element,element     div,p               选择所有div元素和所有p元素
element element     div p               选择div标签内部的所有p元素
[attribute]         [target]            选择带有targe属性的所有元素
[arrtibute=value]   [target=_blank]     选择target=”_blank”的所有元素
复制代码

选择器的使用例子

上面我们列举了两种选择器的常用方法，下面通过scrapy帮助文档提供的一个地址来做演示
地址：http://doc.scrapy.org/en/latest/_static/selectors-sample1.html
这个地址的网页源码为：

复制代码 
    <html>
     <head>
      <base href='http://example.com/' />
      <title>Example website</title>
     </head>
     <body>
      <div id='images'>
       <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
       <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
       <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
       <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
       <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
      </div>
     </body>
    </html>
复制代码

我们通过scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html来演示两种选择器的功能

获取title

这里的extract_first()就可以获取title标签的文本内容,因为我们第一个通过xpath返回的结果是一个列表，所以我们通过extract()之后返回的也是一个列表，而extract_first()可以直接返回第一个值，extract_first()有一个参数default,例如：extract_first(default="")表示如果匹配不到返回一个空

复制代码 
In [1]: response.xpath('//title/text()')
Out[1]: [<Selector xpath='//title/text()' data='Example website'>]

In [2]: response.xpath('//title/text()').extract_first()
Out[2]: 'Example website'

In [6]: response.xpath('//title/text()').extract()
Out[6]: ['Example website']
复制代码

同样的我们也可以通过css选择器获取，例子如下：

In [7]: response.css('title::text')
Out[7]: [<Selector xpath='descendant-or-self::title/text()' data='Example website'>]

In [8]: response.css('title::text').extract_first()
Out[8]: 'Example website'

查找图片信息
这里通过xpath和css结合使用获取图片的src地址：

复制代码 
In [13]: response.xpath('//div[@id="images"]').css('img')
Out[13]: 
[<Selector xpath='descendant-or-self::img' data='<img src="image1_thumb.jpg">'>,
 <Selector xpath='descendant-or-self::img' data='<img src="image2_thumb.jpg">'>,
 <Selector xpath='descendant-or-self::img' data='<img src="image3_thumb.jpg">'>,
 <Selector xpath='descendant-or-self::img' data='<img src="image4_thumb.jpg">'>,
 <Selector xpath='descendant-or-self::img' data='<img src="image5_thumb.jpg">'>]

In [14]: response.xpath('//div[@id="images"]').css('img::attr(src)').extract()
Out[14]: 
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']
复制代码

查找a标签信息
这里分别通过xapth和css选择器获取a标签的href内容，以及文本信息，css获取属性信息是通过attr,xpath是通过@属性名

复制代码 
In [15]: response.xpath('//a/@href')
Out[15]: 
[<Selector xpath='//a/@href' data='image1.html'>,
 <Selector xpath='//a/@href' data='image2.html'>,
 <Selector xpath='//a/@href' data='image3.html'>,
 <Selector xpath='//a/@href' data='image4.html'>,
 <Selector xpath='//a/@href' data='image5.html'>]

In [16]: response.xpath('//a/@href').extract()
Out[16]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [17]: response.css('a::attr(href)')
Out[17]: 
[<Selector xpath='descendant-or-self::a/@href' data='image1.html'>,
 <Selector xpath='descendant-or-self::a/@href' data='image2.html'>,
 <Selector xpath='descendant-or-self::a/@href' data='image3.html'>,
 <Selector xpath='descendant-or-self::a/@href' data='image4.html'>,
 <Selector xpath='descendant-or-self::a/@href' data='image5.html'>]

In [18]: response.css('a::attr(href)').extract()
Out[18]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [27]: response.css('a::text').extract()
Out[27]: 
['Name: My image 1 ',
 'Name: My image 2 ',
 'Name: My image 3 ',
 'Name: My image 4 ',
 'Name: My image 5 ']

In [28]: response.xpath('//a/text()').extract()
Out[28]: 
['Name: My image 1 ',
 'Name: My image 2 ',
 'Name: My image 3 ',
 'Name: My image 4 ',
 'Name: My image 5 ']

In [29]:
复制代码

高级用法
查找属性名称包含img的所有的超链接，通过contains实现

复制代码 
In [36]: response.xpath('//a[contains(@href,"image")]/@href').extract()
Out[36]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [37]: response.css('a[href*=image]::attr(href)').extract()
Out[37]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [38]:
复制代码

查找img的src属性

复制代码 
In [41]: response.xpath('//a[contains(@href,"image")]/img/@src').extract()
Out[41]: 
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']

In [42]: response.css('a[href*=image] img::attr(src)').extract()
Out[42]: 
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']

In [43]:
复制代码

提取a标签的文本中name后面的内容，这里提供了正则的方法re和re_first

复制代码 
In [43]: response.css('a::text').re('Name\:(.*)')
Out[43]: 
[' My image 1 ',
 ' My image 2 ',
 ' My image 3 ',
 ' My image 4 ',
 ' My image 5 ']

In [44]: response.css('a::text').re_first('Name\:(.*)')
Out[44]: ' My image 1 '
复制代码

 

转载于:https://www.cnblogs.com/lymlike/p/11599080.html

banshao8648
关注
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 62万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
【python】网络爬虫——Scrapy
最新发布
weixin_38009144的博客
04-02 1087
这 2 个技术实现的核心都是事件循环，当程序执行到某个耗时的 IO 操作时，程序的执行权限会被退回给事件循环，事件循环会检测其它准备就绪的协程，然后将执行权限交给它，当之前的协程 IO 操作完毕后，事件循环会将执行权限转给它，继续后面的操作。分配给每个类的整型值，确定了他们运行的顺序，item按数字从低到高的顺序通过pipeline，通常将这些数字定义在0-1000范围内（0-1000随意设置，数值越低，组件的优先级越高）这个错误通常是由于网站的访问限制导致的，403 错误表示服务器拒绝了你的请求。
Python爬虫（入门+进阶）学习笔记 2-3 Scrapy选择器的用法
kissazhu的博客
06-30 431
当我们抓取网页时，最常见任务就是从HTML源码中提取数据，可是怎么提取数据呢？当然就是用选择器了。本节课主要介绍CSS，Xpath，正则表达式，pyquery四种选择器。四大选择器Scrapy 提取数据有自己的一套机制。它们被称作选择器(seletors)，通过特定的 Xpath 、 CSS 表达式或者正则表达式来选择 HTML 文件中的某个部分的数据。我们常用的选择器有四种：CSS选择器，Xpa...
Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法
weixin_34034261的博客
07-16 137
Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HTML元素的样式相关联。 XPath选择器 常用的路径表达式，这里列举了一些常用的，XPath的功能非常强大，内含超过100...
scrapy学习——选择器
苦心人天不负
10-11 2511
之前已经学习过HTML页面解析的一些内容，其中介绍了选择器的相关知识，接下来深入的学习选择器。 Scrapy的选择器是基于lxml，也就是说二者在原理和速度上是一致的。 构造选择器 Scrapy selector是以 文字(text) 或 TextResponse 构造的Selector 实例。其根据输入的类型自动选择最优的分析方法(XML vs HTML): >>
scrapy框架中选择器的使用
Fortuna_的博客
05-29 606
Selector选择器Scrapy框架提供了自己的数据解析方法，即Selector（选择器）。1、Selector（选择器）是基于lxml来构建的，支持XPath、CSS选择器以及正则表达式，功能全面，解析速度和准确度非常高。2、Selector（选择器）是一个可以独立使用模块。 直接导入模块就可实例化使用。=============================================...
scrapy框架之选择器
韩韩的博客
08-02 255
本文内容比较乱，只作为本人自己复习使用，不供他人学习使用。见谅。 目标网站 # https://doc.scrapy.org/en/latest/_static/selectors-sample1.html # scrapy shell https://doc.scrapy.org/en/latest/_static/selectors-sample1.html # 命令行交互模式 ...
爬虫——Scrapy框架 (初步学习+简单案例)
qq_53715682的博客
06-09 1933
定义了爬取结果的数据结构，爬取的结果会被赋值成Item对象，每个Item都是一个类，类里面定义了爬取结果的数据字段，可以理解为用来规定数据的存储格式。5. Downloader（下载器）：负责下载Engine发送的所有请求，将获取的Response返回给Engine，再发给Spiders处理。1. Engine（引擎）：用来处理整个系统的数据流和时间，是整个框架的核心，可以理解为中央处理器，负责数据的流转和逻辑的处理。steam 用户创建的文件，定义爬取的url以及对数据的处理。
Python爬虫之Scrapy框架系列（10）——Scrapy选择器selector
孤寒者的博客
01-31 9049
Python爬虫之Scrapy框架系列（10）——Scrapy选择器selector
Python爬虫——Scrapy 的基本使用
weixin_73136678的博客
12-31 648
Scrapy 框架中创建项目、查看配置信息，以及运行爬虫程序都是通过指令完成。
单独使用 Scrapy 框架的 Selector 选择器
mywang88的博客
12-16 586
mywang88 2018-12-16 背景 Scrapy 框架是一个经典的 Python 爬虫框架。 Scrapy 框架中的 Selector 类提供了多种 html/xml 节点选择器的方法，例如：css 选择器、xpath 选择器、re 选择器等。 使用 scrapy.Selector 类的好处之一，就是不需要再导入（import）其它工具包，例如 lxml 等，直接调用选择器，并输入对应语...
Scrapy框架| 选择器-Xpath和CSS的那些事
Kuls
05-16 269
1写在前面的话 这次接着上一篇文章来讲Scrapy框架，这次讲的是Scrapy框架里面提供的两种数据提取机制Xpath和CSS，其实除了这两种，我们还可以借助...
Python中Scrapy框架元素选择器XPath的简单实例
weixin_30362233的博客
03-09 127
原文标题：《Python网络爬虫—Scrapy的选择器Xpath》 对原文有所修改和演绎 优势 XPath相较于CSS选择器，可以更方便的选取 没有id class name属性的标签 属性或文本特征不显著的标签 嵌套层次极其复杂的标签 XPath路径 定位方式 / 绝对路径 表示从根节点开始选取 // 相对路径 表示从任意节点开始 基本的节点定位 #查找html下的body下的form下...
scrapy 初探(xpath)
zww学习笔记
05-09 718
1、创建项目 scrapy startproject zwblog zwblog目录结构： zwblog | scrapy.cfg | zwblog | items.py | pipelines.py | settings.py | __init__.py ...
python爬虫：scrapy框架xpath和css选择器语法
彭世瑜的博客
05-26 2万+
Xpath基本语法 举例元素标签为artical标签 语法 说明 artical 选取所有artical元素的子节点 /artical 选取根元素artical artical/a 选取所有属于artical的子元素a元素 //div 选取所有div 子元素，无论div在任何地方 artical//div 选取所有属于...
Scrapy中XPath选择器的基本用法
热门推荐
Jock2018的博客
03-21 2万+
Scrapy中XPath选择器的基本用法1、前言2、多级定位和跳级定位标签元素1. 多级定位2. 跳级定位3. 利用属性更加准确的定位标签4. 提取定位标签中的text信息5. 提取定位标签中的属性信息6. 参考资料 1、前言 本文是作为爬虫项目实战一：基于Scrapy+MongDB爬取并存储糗事百科用户信息的补充，所以本文的网页选择也是基于糗事百科展开。XPath主要使用在XML文档中选择节点，...
scrapy xpath()中的/与//的区别
s0il的博客
11-26 2611
这两天学校的课程要求用django和scrapy写一个新闻网站，在看到//和/的时候，有点迷，就去网上查了一下，发现看的不明不白，今天我就结合自己的实践看一下他们各自的作用： 先看看网上的一些博客是怎么说的： //a//b/@abc 指的是文档中所有a元素的属性为abc的后代b元素（包括子代元素）（多级）； //a/b/@abc 指的是文档中所有a元素的属性为abc的子代b元素（一级）； /a...
Scrapy爬虫框架教程（三）-- 调试(Debugging)Spiders
weixin_33858485的博客
04-14 211
前言 春节放假在老家没有网，所以最近没有更新。这周加班闲暇抽空赶紧来更新一篇。我们在写爬虫的时候经常需要修改xapth规则来获取所需的数据，而Scrapy的爬虫通常是在命令行中启动的，我们怎么去调试呢？下面我就为大家介绍两种我常用的方法。 工具和环境 语言：python 2.7 IDE： Pycharm 浏览器：Chrome 爬虫框架：Scrapy ...
scrapy中Xpath表达式总结
05-05 1088
xpath是一门在XML文档中查找指定信息的标记语言，可以对XML文档中的元素和属性使用路径表达式来进行定位（导航）。 xpath常用语法 /选择某个标签下的所有内容 text()选择标签内所包含的文本 @选择标签属性信息 //选择所有标签 [@属性=值]该标签属性满足一定条件 注意上面所有的操作，返回的结果都是Ht...
爬虫教程——用Scrapy爬取豆瓣TOP250
05-18
好的，下面我来为你介绍一下如何使用Scrapy爬取豆瓣TOP250电影信息。 1. 安装Scrapy 首先，你需要安装Scrapy。如果你已经安装了Python，可以在命令行中使用以下命令安装Scrapy： ``` pip install Scrapy ``` 2. 创建Scrapy项目 接下来，我们需要创建一个Scrapy项目。在命令行中输入以下命令： ``` scrapy startproject douban_top250 ``` 这将会在当前目录下创建一个名为“douban_top250”的文件夹，其中包含了Scrapy项目的基本结构。 3. 编写爬虫代码 在“douban_top250/spiders”目录下创建一个名为“douban.py”的文件，并输入以下代码： ```python import scrapy class DoubanSpider(scrapy.Spider): name = 'douban' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250'] def parse(self, response): for movie in response.xpath('//div[@class="hd"]'): yield { 'title': movie.xpath('.//span[@class="title"]/text()').extract_first(), 'rating': movie.xpath('../div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract_first(), 'link': movie.xpath('.//a/@href').extract_first(), } next_page = response.xpath('//span[@class="next"]/a/@href') if next_page: yield response.follow(next_page[0], self.parse) ``` 这段代码定义了一个名为“DoubanSpider”的类，用于爬取豆瓣电影TOP250的电影名称、评分和链接。在这个类中，我们使用了XPath选择器来定位页面中的元素。 4. 运行爬虫 在命令行中进入“douban_top250”文件夹，并输入以下命令来运行爬虫： ``` scrapy crawl douban -o douban_top250.csv ``` 这将会运行刚才编写的“DoubanSpider”爬虫，并将结果保存在名为“douban_top250.csv”的文件中。 至此，你已经学会了如何使用Scrapy来爬取豆瓣TOP250电影信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值