python：爬虫学习与教学（6）Scrapy中选择器用法

最新推荐文章于 2021-06-21 17:08:23 发布
最新推荐文章于 2021-06-21 17:08:23 发布
阅读量234 收藏
点赞数
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lm19770429/article/details/107136345
版权

参考scrapy官方文档:https://docs.scrapy.org/en/latest/

爬取示例地址：https://docs.scrapy.org/en/latest/_static/selectors-sample1.html

完整的HTML代码：
<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
  </div>
 </body>
</html>
首先：
scrapy shell https://docs.scrapy.org/en/latest/_static/selectors-sample1.html

在命令行：

xpath方法：

In [4]: response.xpath("//title/text()")
Out[4]: [<Selector xpath='//title/text()' data='Example website'>]

获取文本：

In [5]: response.xpath("//title/text()").extract_first()
Out[5]: 'Example website'

In [7]: response.xpath("//title/text()").extract()
Out[7]: ['Example website']

也可以：

In [8]: response.xpath("//title/text()").get()
Out[8]: 'Example website'

In [10]: response.xpath("//title/text()").getall()
Out[10]: ['Example website']

css方法：

In [12]: response.css("title::text")
Out[12]: [<Selector xpath='descendant-or-self::title/text()' data='Example website'>]

 

.xpath() and .css() 方法返回一个 SelectorList 实例, which is a list of new selectors. This API can be used for quickly selecting nested data:

In [17]: response.css("img").xpath("@src")
Out[17]:
[<Selector xpath='@src' data='image1_thumb.jpg'>,
 <Selector xpath='@src' data='image2_thumb.jpg'>,
 <Selector xpath='@src' data='image3_thumb.jpg'>,
 <Selector xpath='@src' data='image4_thumb.jpg'>,
 <Selector xpath='@src' data='image5_thumb.jpg'>]

In [18]: response.css("img").xpath("@src").get()
Out[18]: 'image1_thumb.jpg'

xpath按属性查找：

In [20]: response.xpath("//div[@id='images']/a/text()")
Out[20]:
[<Selector xpath="//div[@id='images']/a/text()" data='Name: My image 1 '>,
 <Selector xpath="//div[@id='images']/a/text()" data='Name: My image 2 '>,
 <Selector xpath="//div[@id='images']/a/text()" data='Name: My image 3 '>,
 <Selector xpath="//div[@id='images']/a/text()" data='Name: My image 4 '>,
 <Selector xpath="//div[@id='images']/a/text()" data='Name: My image 5 '>]

对应的css：

In [28]: response.css("div[id='images'] a").xpath("@href")
Out[28]:
[<Selector xpath='@href' data='image1.html'>,
 <Selector xpath='@href' data='image2.html'>,
 <Selector xpath='@href' data='image3.html'>,
 <Selector xpath='@href' data='image4.html'>,
 <Selector xpath='@href' data='image5.html'>]

In [32]: response.css("div[id='images'] a>img")
Out[32]:
[<Selector xpath="descendant-or-self::div[@id = 'images']/descendant-or-self::*/a/img" data='<img src="image1_thumb.jpg">'>,
 <Selector xpath="descendant-or-self::div[@id = 'images']/descendant-or-self::*/a/img" data='<img src="image2_thumb.jpg">'>,
 <Selector xpath="descendant-or-self::div[@id = 'images']/descendant-or-self::*/a/img" data='<img src="image3_thumb.jpg">'>,
 <Selector xpath="descendant-or-self::div[@id = 'images']/descendant-or-self::*/a/img" data='<img src="image4_thumb.jpg">'>,
 <Selector xpath="descendant-or-self::div[@id = 'images']/descendant-or-self::*/a/img" data='<img src="image5_thumb.jpg">'>]

In [33]: response.css("div[id='images']>a>img")
Out[33]:
[<Selector xpath="descendant-or-self::div[@id = 'images']/a/img" data='<img src="image1_thumb.jpg">'>,
 <Selector xpath="descendant-or-self::div[@id = 'images']/a/img" data='<img src="image2_thumb.jpg">'>,
 <Selector xpath="descendant-or-self::div[@id = 'images']/a/img" data='<img src="image3_thumb.jpg">'>,
 <Selector xpath="descendant-or-self::div[@id = 'images']/a/img" data='<img src="image4_thumb.jpg">'>,
 <Selector xpath="descendant-or-self::div[@id = 'images']/a/img" data='<img src="image5_thumb.jpg">'>]

It returns None if no element was found:

In [38]: response.xpath('//div[@id="not-exists"]/text()').get() is None
Out[38]: True

设置找不到是的返回默认值

In [40]: response.xpath('//div[@id="not-exists"]/text()').get(default='not-found')
Out[40]: 'not-found'

Instead of using e.g. '@src' XPath it is possible to query for attributes using .attrib property of a Selector:

除了用xpath的[@属性名]，还可以用标签.attrib[属性名]

In [41]: [img.attrib['src'] for img in response.css('img')]
Out[41]:
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']

注意区别：以下只返回一个

In [42]: response.css("img").attrib['src']
Out[42]: 'image1_thumb.jpg'

This is most useful when only a single result is expected, e.g. when selecting by id, or selecting unique elements on a web page:

>>> response.css('base').attrib['href']
'http://example.com/'

通过属性获取：

In [43]: response.xpath("//base/@href").get()
Out[43]: 'http://example.com/'

In [44]: response.css("base::attr(href)").get()
Out[44]: 'http://example.com/'

In [48]: response.css("base").attrib["href"]
Out[48]: 'http://example.com/'

选择符合条件的属性的相关内容：

xpath:

In [50]: response.xpath("//a[contains(@href,'image')]/@href").getall()
Out[50]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [52]: response.xpath("//a[contains(@href,'image')]/img/@src").getall()
Out[52]:
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']

css:

In [54]: response.css("a[href*=image]::attr(href)").getall()
Out[54]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [55]: response.css("a[href*=image] img::attr(src)").getall()
Out[55]:
['image1_thumb.jpg',
 'image2_thumb.jpg',
 'image3_thumb.jpg',
 'image4_thumb.jpg',
 'image5_thumb.jpg']

CSS Selectors扩展：

  • to select text nodes, use ::text，如：title::text

  • to select attribute values, use ::attr(name) where name is the name of the attribute that you want the value of

*::text selects all descendant text nodes of the current selector context   #选择当前selector所有后代节点文本

In [62]: response.css("#images *::text").getall()
Out[62]:
['\n   ',
 'Name: My image 1 ',
 '\n   ',
 'Name: My image 2 ',
 '\n   ',
 'Name: My image 3 ',
 '\n   ',
 'Name: My image 4 ',
 '\n   ',
 'Name: My image 5 ',
 '\n  ']

迭代举例：

>>> links = response.xpath('//a[contains(@href, "image")]')
>>> links.getall()
['<a href="image1.html">Name: My image 1 <br><img src="image1_thumb.jpg"></a>',
 '<a href="image2.html">Name: My image 2 <br><img src="image2_thumb.jpg"></a>',
 '<a href="image3.html">Name: My image 3 <br><img src="image3_thumb.jpg"></a>',
 '<a href="image4.html">Name: My image 4 <br><img src="image4_thumb.jpg"></a>',
 '<a href="image5.html">Name: My image 5 <br><img src="image5_thumb.jpg"></a>']

>>> for index, link in enumerate(links):
...     args = (index, link.xpath('@href').get(), link.xpath('img/@src').get())
...     print('Link number %d points to url %r and image %r' % args)
Link number 0 points to url 'image1.html' and image 'image1_thumb.jpg'
Link number 1 points to url 'image2.html' and image 'image2_thumb.jpg'
Link number 2 points to url 'image3.html' and image 'image3_thumb.jpg'
Link number 3 points to url 'image4.html' and image 'image4_thumb.jpg'
Link number 4 points to url 'image5.html' and image 'image5_thumb.jpg'

In [65]: [a.xpath("@href") for a in response.css("a")]
Out[65]:
[[<Selector xpath='@href' data='image1.html'>],
 [<Selector xpath='@href' data='image2.html'>],
 [<Selector xpath='@href' data='image3.html'>],
 [<Selector xpath='@href' data='image4.html'>],
 [<Selector xpath='@href' data='image5.html'>]]

In [66]: [a.xpath("@href").get() for a in response.css("a")]
Out[66]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

In [68]: [a.attrib["href"] for a in response.css("a")]
Out[68]: ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']

Beware of the difference between //node[1] and (//node)[1]

//node[1] selects all the nodes occurring first under their respective parents.

(//node)[1] selects all the nodes in the document, and then gets only the first of them.

>>> from scrapy import Selector
>>> sel = Selector(text="""
....:     <ul class="list">
....:         <li>1</li>
....:         <li>2</li>
....:         <li>3</li>
....:     </ul>
....:     <ul class="list">
....:         <li>4</li>
....:         <li>5</li>
....:         <li>6</li>
....:     </ul>""")
>>> xp = lambda x: sel.xpath(x).getall()
>>> xp("//li[1]")
['<li>1</li>', '<li>4</li>']
>>> xp("(//li)[1]")
['<li>1</li>']

 

花纵酒
关注
专栏目录
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫全套教学资料
10-25
本套教学资料深入解析了Python爬虫的核心技术、Scrapy框架以及分布式爬虫的实现，旨在帮助学习者掌握这一领域的核心技能。 一、Python爬虫核心技术 Python语言因其简洁明了的语法和丰富的第三方库而成为网络爬虫...
Selector提取数据2：CSS选择器
OneFine的技术博客
02-02 529
网页提取之-CSS选择器
Scrapy中提取规则的编写——xpath&css
qq_26601387的博客
12-06 344
xpath&css详解 先启动一个网页 scrapy shell https://.......#启动一个网址 xpath用法 response.xpath('//title/text()').getall()#获取所有title节点中的文本 response.xpath('//title/text()').get()#获取第一个title节点中的文本 response.xpath('/...
Python scrapy 常见问题及解决 【遇到的坑】
weixin_33921089的博客
08-12 494
1.爬虫出现Forbidden by robots.txt 解决方法：setting.pyROBOTSTXT_OBEY = True 改成False 原因：scrapy抓包时的输出就能发现，在请求我们设定的url之前，它会先向服务器根目录请求一个txt文件 这个文件中规定了本站点允许的爬虫机器爬取的范围（比如你不想让百度爬取你的页面，就可以通过robot来限制），因为默认scrapy遵守...
XPath遇到br标签无法获取到完整数据的解决办法
北冥有鱼的Blog
12-01 1万+
这里写自定义目录标题XPath与``标签 XPath与<br>标签 当使用xpath获取html页面元素时，如果某个element中包含有<br>标签，使用xpath将无法获取到完整的数据。因为br标签即可以表示数据的开始，也可以表示数据的结束。那么这个时候可以使用descendant-or-self::text()来获取完整数据。 descendant-or-self::...
XPath总结
Chenglin(Ben) Yu's Miracle
04-26 588
文章目录XPath总结4.1 XPath中的数据类型序列序列的表示序列的性质项4.2 Xpath表达式的书写XML文档树ancestor，ancestor-or-selfdescendant, descendant-or-selfchild , parentfollowing, precedingfollowing-sibling, preceding-siblingselfnamespaceat...
scrapy_Python的爬虫框架Scrapy_scrapy_
10-03
Scrapy是Python编程语言中的一款强大且高效的网页抓取框架，专为数据抓取和爬虫项目设计。它提供了一整套工具集，使得开发者能够快速构建起复杂的网络爬虫，处理网页数据并进行分析。在本文中，我们将深入探讨Scrapy...
Python Scrapy网络爬虫框架学习资料（原创）
05-26
**在没有学习Scrapy之前，常用的几种爬虫方法包括：** 1. **requests + re正则表达式**：适用于简单网页的数据抓取，但面对复杂的HTML结构时效率较低。 2. **requests + lxml + xpath**：提供了更强大的HTML/XML...
Python 爬虫Scrapy课件源码
最新发布
05-27
总的来说，这个“Python 爬虫Scrapy课件源码”将带你深入理解Python爬虫的基本原理和实践技巧，结合数据分析与可视化，能够帮助你从互联网海洋中获取并解读有价值的信息。通过学习和实践，你将成为一名能够处理复杂...
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
【Python Scrapy 框架爬取京东商城进阶篇】 在Python的Web爬虫领域，Scrapy是一个功能强大的框架，常被用于高效地爬取和处理网站数据。...通过学习，读者可以更好地理解和应用Scrapy框架，实现更复杂的网络爬虫项目。
使用python xpath爬虫 引号数据处理/标签文本获取方式
yida7942的博客
08-05 999
针对部分无法获取数据，在xpath语句中使用“descendant-or-self::text()”，即可获取同级及下级的信息 个人常用xpath爬虫格式： import requests from lxml import etree from fake_useragent import UserAgent import urllib from xlrd import open_workbook from xlutils.copy import copy #设置headers ua = UserAgent
python去空格输出,在Python中删除空格和不可打印的字符
weixin_30300857的博客
11-26 274
I am working with xml file using lxml etree xpath method. My code isfrom lxml import etreeFile="c:\file.xml"doc=etree.parse(File)alltext = doc.xpath('descendant-or-self::text()')clump = "".join(alltex...
scrapy爬JS-1
Arkardia的博客
01-02 681
ps: 楼主是生物类专业的，所以对计算机只会个大概，原理部分还不太懂，难免有小错误QAQ A. 判断一个网页是静态网页还是JS网页 第一种方法： 1. 按F12/Ctrl+Shift+I 2. 转到network的tab下 3. 选中disable cache 4. 按Ctrl+Shift+P，键入disable JS 5. 重新加载页面 ，网页的目标信息内容不见了，说明是动态网页 第二种方法： 1. 按F12 2. 在element中查看你的目标元素，记住目标元素的selector 3. 转到netwo
Scrapy爬虫框架中Selector的具体用法介绍
zhi_neng的博客
06-21 1477
之前介绍了利用BeautifulSoup、pyquery以及正则表达式来提取网页数据，这确实非常方便。而Scrapy本身提供了自己的数据提取方法，即Selector（选择器）。
response对象的方法有哪些_$.get()、$.post()方法
weixin_39755712的博客
11-30 428
$.get方法用于发送get请求，$.post方法用于发送post请求。$.get('请求地址', {name: 'zhangsan', age: 30}, function (response) {}) $.post('请求地址', {name: 'lisi', age: 22}, function (response) {}) 请求地址请求参数：可以是对象，可以是字符串，可以不写回调函数：响...
Scrapy中选择器的用法
weixin_33973600的博客
04-25 534
官方文档：https://doc.scrapy.org/en/latest/topics/selectors.html Using selectors Constructing selectors Respons...
python Request库的get()方法
热门推荐
k_koris的博客
10-06 21万+
    1. Request库的get（）方法： 最通常的方法是通过r=request.get（url）构造一个向服务器请求资源的url对象。 这个对象是Request库内部生成的。 这时候的r返回的是一个包含服务器资源的Response对象。包含从服务器返回的所有的相关资源。 url是什么？ url是通过http协议存取资源的一个路径，它就像我们电脑里面的一个文件的路径一样。  ...
Scrapy response.css学习
sspmii的博客
08-06 9862
摘自官网 you can try selecting elements using CSS with the response object: &amp;gt;&amp;gt;&amp;gt; response.css('title') [&amp;lt;Selector xpath='descendant-or-self::title' data='&amp;lt;title&amp;gt;Quotes to Scrape&amp;lt;/t
爬虫网页解析之css用法及实战爬取中国校花网
Python编程与实战的博客
04-22 1277
前言 我们都知道，爬虫获取页面的响应之后，最关键的就是如何从繁杂的网页中把我们需要的数据提取出来， python从网页中提取数据的包很多，常用的解析模块有下面的几个： BeautifulSoup API简单 但解析速度慢，不推荐使用 lxml 由C语言编写的xml解析库(libxm2),解析速度快 但是API复杂 Scrapy 综合以上两者优势实现了自己的数据提取机制，被称为Selec...
Python网络爬虫实战指南：掌握Scrapy与Portia
接着，作者深入浅出地讲解了三种从网页中提取数据的方法，分别是解析HTML、使用BeautifulSoup库以及XPath和CSS选择器。这些方法有助于读者掌握如何定位和提取网页结构中的所需信息。 为了提高效率，书中还涵盖了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值