爬虫入门到精通_框架篇18(Scrapy中选择器用法)_sector,xpath,css,re

最新推荐文章于 2024-08-07 10:08:11 发布
最新推荐文章于 2024-08-07 10:08:11 发布
阅读量1.1k 收藏 18
点赞数 22
分类专栏： # 爬虫 文章标签： 爬虫 scrapy css
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41865866/article/details/136664800
版权

官方文档

Using selectors

To explain how to use the selectors we’ll use the Scrapy shell (which provides interactive testing) and an example page located in the Scrapy documentation server:
https://docs.scrapy.org/en/latest/_static/selectors-sample1.html
在这里插入图片描述

<!DOCTYPE html>

<html>
  <head>
    <base href='http://example.com/' />
    <title>Example website</title>
  </head>
  <body>
    <div id='images'>
      <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' alt='image1'/></a>
      <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' alt='image2'/></a>
      <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' alt='image3'/></a>
      <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' alt='image4'/></a>
      <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' alt='image5'/></a>
    </div>
  </body>
</html>

进入命令行交互模式：

scrapy shell https://docs.scrapy.org/en/latest/_static/selectors-sample1.html

在这里插入图片描述
输入

response.selector

输出：request内置的selector选择器
在这里插入图片描述

XPath选择器

let’s construct an XPath for selecting the text inside the title tag:

response.xpath("//title/text()")

输出选择器与内容.
在这里插入图片描述

css选择器

response.css("title::text").get()

在这里插入图片描述

xpath和css的运用

xpath查找images标签

response.xpath('//div[@id="images"]')

在这里插入图片描述

response.xpath('//div[@id="images"]').css("img")

在这里插入图片描述
css可以用::attr()获取属性:

response.xpath('//div[@id="images"]').css("img::attr(src)").extract()

在这里插入图片描述
default:查不到内容返回default里内容
在这里插入图片描述
href标签：
在这里插入图片描述

contains

找属性名称包含image的所有的超链接可以使用contains选项，第一个参数是属性名，第二个属性是要查找的值

response.xpath('//a[contains(@href,"image")]/@href').extract()

在这里插入图片描述
CSS的写法：

response.css('a[href*=image]::attr(href)').extract()

在这里插入图片描述
假如我们要选择所有a标签里的img里面的src属性，用上contains：

response.xpath('//a[contains(@href,"image")]/img/@src').extract()

在这里插入图片描述
CSS:注意[]之后要有空格

response.css('a[href*=image] img::attr(src)').extract()

在这里插入图片描述

正则表达式

提取内容
在这里插入图片描述
提取冒号后的内容，就需要正则表达式了，注意，\用来对：进行转义。

 response.css('a::text').re('Name\:(.*)')

在这里插入图片描述
与extract()方法类似，re也提供了取得列表中第一个元素的方法：re_first()

response.css('a::text').re_first('Name\:(.*)')

在这里插入图片描述
进一步地，可以使用strip()方法，去掉返回结果中前后的空格：

response.css('a::text').re_first('Name\:(.*)').strip()

在这里插入图片描述

小结

response为我们提供了几个提取方法：

  • xpath
  • CSS
  • re

返回的结果都是Selector类型，可以进行嵌套循环。
a) 对css来说:

  • 获取a标签中的文本内容：response.css(‘a::text’)
  • 获取a标签中的某个属性：response.css(‘a::attr(属性)’)

(b)对xpath来说：

  • 获取a标签中的文本内容：response.xpath(‘//a/text()’)
  • 获取a标签中的某个属性：response.xpath(‘//a/@href’)

两种选择方法，写法不同，效果类似。

要从selector变为数据，则在后面加上.extract() 或 .extract()_first() 或.extract()[x]（x为list中元素的下标）。
如果要提取更具体的信息，可以用正则表达式的方法，在后面加上 .re() 或 .re()_first 进行嵌套选择。

好奇养活小猫
关注
专栏目录
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 62万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
python爬虫基础知识之选择器
ElsaRememberAllBug的博客
12-12 615
1          选择器 ID 1.1         Class 属性选择器：可以指定值来选择 后代选择器（包含选择器） 子选择器     1.2         Xpath 使用路径表达式在xml中进行导航     1.3         Xpath和css的区别： Css更简洁 Xpath文件路径，看作目录树 XPath谓语很强大     1.4   
python css选择器_Python网络爬虫四大选择器（正则表达式、BS4、Xpath、CSS）总结
weixin_39936403的博客
01-18 169
前几天小编连续写了四篇关于Python选择器的文章，分别用正则表达式、BeautifulSoup、Xpath、CSS选择器分别抓取京东网的商品信息。今天小编来给大家总结一下这四个选择器，让大家更加深刻的理解和熟悉Python选择器。一、正则表达式正则表达式为我们提供了抓取数据的快捷方式。虽然该正则表达式更容易适应未来变化，但又存在难以构造、可读性差的问题。当在爬京东网的时候，正则表达式如下图所示：...
Python 爬虫入门（十）：Scrapy选择器「详细介绍」
blues_C的博客
08-06 1551
欢迎来到“Python 爬虫入门”系列文章。在网络爬虫中，选择器是解析和提取网页内容的重要工具，不同的选择器有不同的特点和应用场景。CSS选择器、XPath选择器、正则表达式和PyQuery选择器，并结合具体实例讲解如何在Scrapy中使用这些选择器来提取数据。为了更好的展示，我们将使用的数据。不同的选择器有不同的特点和适用场景。通过掌握CSS选择器、XPath选择器、正则表达式和PyQuery选择器的使用方法，可以有效地提取网页中的数据。
Python网络爬虫四大选择器（正则表达式、BS4、Xpath、CSS）总结
qq_35249586的博客
03-09 1111
Python网络爬虫四大选择器（正则表达式、BS4、Xpath、CSS）总结 0.前言 相关实战文章： 正则表达式、BeautifulSoup、Xpath、CSS选择器分别抓取京东网的商品信息。 网络爬虫：模拟客户端批量发送网络请求，批量接收请求对应的数据，按照一定的规则，自动抓取互联网信息的程序，进行数据采集，并进行持久化存储。其他用途：百度搜索， 12306抢票、各种抢购、投票、刷票、短信轰炸、网络攻击、Web漏洞扫描器 都是爬虫技术。 爬虫的用途 1.金融 金融新闻/数据 制定投资策
爬虫 Selector 选择器查找元素
kuayueday的博客
04-19 758
Document parse = Jsoup.parse(new File("C:\\Users\\LX\\Desktop\\新建文本文档.txt"), "utf-8");//[attribute]:利用属性查找元素，比如:[abc] 需要加[] 除了class id 以外的都叫元素。//[attr=value]:利用属性值来查找元素，比如:[class=s name] 完整的名字。//.class:通过class名称查找元素，比如:.class_a。--jsoup解析工具所需依赖-->
Python爬虫CSS选择器
Hubz131的博客
03-27 1134
CSS – Python爬虫常用CSS选择器（Selectors） selector example description .class .your_class 选择所有class="your_class"的元素 #id #name 选择所有id="name"的元素 * * 选...
精通Scrapy网络爬虫_爬虫_scrapy_
10-04
通过阅读《精通Scrapy网络爬虫.pdf》这份文档，你可以系统地学习Scrapy的使用方法，逐步掌握构建高效爬虫的技巧，从而在数据挖掘和信息分析领域大展拳脚。记得在实践中不断尝试和优化，Scrapy的强大功能等待你的发掘...
scrapy_Python的爬虫框架Scrapy_scrapy_
10-03
Scrapy Shell是一个交互式环境，用于调试和测试XPath或CSS选择器。你可以直接在Shell中输入URL，获取响应，并尝试不同的选择器，以找出最佳的数据提取方法。 8. **Scrapy设置** 在Scrapy项目中，可以通过`...
精通Python爬虫框架Scrapy.pdf
12-20
精通Python爬虫框架Scrapy.pdf
精通Scrapy网络爬虫_python_scrapy_
09-29
5. **Selector**：Scrapy内置了XPath和CSS选择器，用于从HTML或XML文档中提取数据。它们提供了强大的解析功能，使你能方便地定位到目标元素。 6. **Downloader Middleware**：下载中间件是一系列钩子，可以修改...
Python爬虫之选择器篇一，容易被忽视的强大的选择器 BeautifulSoup 。它支持CSS、re 的综合筛选。讲的超细！图文并茂！缺点速度较慢。
aoeryule的博客
09-29 2749
新手学Python爬虫篇一，小白入门requests，一个被忽视的强大的选择器： BeautifulSoup ，它支持CSS、re 的综合筛选。讲的超细！图文并茂。爱上BeautifulSoup 不是没有道理的！ 写法真的非常的简洁！舒适！
Python爬虫入门（DAY4）选择器selector创建（re/XPATH/Beautiful Soup/css/parser）（难点）
weixin_56005867的博客
05-15 901
正则表达式，又称规则表达式,（Regular Expression，在代码中常简写为regex、regexp或RE），是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为\"元字符\"），是计算机科学的一个概念。即通过我们规定好的提取规则，将HTML文档中的一些特殊资源片段（类似有css，xpath，下载资源地址等）提取出来，这些资源再经过后续处理美化（比如下载，保存，求和，统计等），就可以得到我们最终需要的资源。2.id属性值类似于身份证号码，在一个页面中是唯一的，不可重复的。
爬虫数据源元素获取——CSS选择器深入理解与应用
最新发布
RHeng的博客
08-07 2850
在爬虫开发中，CSS选择器是一种非常重要的工具，它允许开发者以高效且精确的方式定位和提取HTML文档中的元素。本文将详细介绍CSS选择器在爬虫过程中的应用，包括基本选择器、层次选择器、属性选择器、伪类选择器以及伪元素选择器的使用方法和示例。
python爬虫选择器总结
weixin_43991027的博客
11-08 270
python爬虫选择器总结 1.正则化表达式 正则表达式为我们提供了抓取数据的快捷方式，利用表达式进行实现对目标的精准采集。虽然该正则表达式更容易适应未来变化，但又存在难以构造、可读性差的问题。此外 ，我们都知道，网页时常会产生变更，导致网页中会发生一些微小的布局变化时，此时也会使得之前写好的正则表达式无法满足需求，而且还不太好调试。当需要匹配的内容有很多的时候，使用正则表达式提取目标信息会导致程...
爬虫基本原理与实战---12、选择器的用法
大发的博客
04-25 321
Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分 Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。 CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HTML元素的样式相关联。 XPath选择器 参考：http://www.cnblogs.com/MUMO/p/5...
网络爬虫CSS选择器详细讲解
philosophy
04-15 3389
Python拥有大量的解析库，比较常用的有Beautiful Soup、pyquery、parsel等，而它们共同特点是：大部分都支持CSS选择器，所以学会了CSS选择器的用法，就能快速利用各种解析方式提取数据，下面将介绍基于bs4解析库的CSS的常用方法。
CSS选择器 first-child 和 first-of-type 区别
qq_40734108的博客
06-23 122
先来看一下需求： 目标是提取出 68 这个总页数，我一开始用的是 first-child response.css("#toPage li:first-child::text").re_first(r"\d+") 但是提取出来的是 None， 想了一下发现不对，form#toPage 的第一个子节点应该是 input，所以这里应该用的是 first-of-type 才对 response.css("#toPage li:first-of-type::text").re_first(r"\d+
python爬虫scrapy框架教程_Python爬虫框架Scrapy基本用法入门教程
05-13
Scrapy是一个基于Python的爬虫框架，它可以帮助我们快速高效地抓取网站数据。在这里，我将介绍Scrapy的基本用法，让您能够快速入门。 安装Scrapy ----------------------- 在安装Scrapy之前，我们需要先安装Python。然后，我们可以通过以下命令来安装Scrapy： ``` pip install scrapy ``` 创建Scrapy项目 ----------------------- 创建Scrapy项目的命令是： ``` scrapy startproject project_name ``` 这个命令将会在当前目录下创建一个名为project_name的文件夹，其中包含了Scrapy项目的基本结构。 编写Spider ----------------------- 在Scrapy中，Spider是用来定义爬取网站的规则的。我们可以通过以下命令来创建一个Spider： ``` scrapy genspider spider_name domain_name ``` 其中，spider_name是我们自己定义的Spider名称，domain_name是我们要抓取的网站域名。 接下来，我们需要在Spider中定义如何爬取网站。这里我们以爬取“http://quotes.toscrape.com/”网站上的名言警句为例。我们可以在Spider中定义如下规则： ```python import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://quotes.toscrape.com/page/1/', 'http://quotes.toscrape.com/page/2/', ] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').get(), 'author': quote.css('span small::text').get(), 'tags': quote.css('div.tags a.tag::text').getall(), } next_page = response.css('li.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 在上述代码中，我们首先定义了Spider的名称，接着定义了我们要爬取的起始URL，最后定义了如何解析网页的函数parse()。在parse()函数中，我们使用了Scrapy的选择器来提取网页中的名言警句，并将其保存到字典中。接着，我们使用response.follow()函数来获取下一页的URL，并继续解析。 运行Spider ----------------------- 要运行我们刚才创建的Spider，我们可以使用以下命令： ``` scrapy crawl spider_name ``` 其中，spider_name是我们之前创建的Spider名称。 Scrapy会自动去抓取我们定义的起始URL，并根据我们定义的规则来解析网页。解析完成后，Scrapy会将结果保存到我们指定的位置。 总结 ----------------------- Scrapy是一个非常强大的Python爬虫框架，它可以帮助我们快速高效地抓取网站数据。在本教程中，我们介绍了Scrapy项目的创建、Spider的定义以及如何运行Spider。如果您想更深入地学习Scrapy，可以参考官方文档：https://docs.scrapy.org/en/latest/。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值