Scrapy(Ⅱ)：基本使用与选择器

最新推荐文章于 2022-04-15 22:19:03 发布
最新推荐文章于 2022-04-15 22:19:03 发布
阅读量203 收藏 1
点赞数
分类专栏： Scrapy学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuxnhs/article/details/83584898
版权

ONE:Scrapy的基本格式

import scrapy

class newhand(scrapy.Spider):  # 需要继承scrapy.Spider类

    name = "myscrapy"  # 定义爬虫名

    def start_requests(self):  # 由此方法通过下面链接爬取页面

        urls = [
            '',  #定义需要爬取的链接
        ]

        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)  # 爬取到的页面交给parse方法处理

    def parse(self, response):
    	//将页面保存下来
        page = response.url.split("/")[-2]
        filename = 'newhand-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('保存文件: %s' % filename)

运行该scrapy

scrapy crawl myscrapy

运行myscrapy，start_requests方法会返回scrapy.Request对象，每接收到一个，就会初始化一个self：response对象，调用parse方法去处理

TWO：可以将url定义为scrapy的一个属性

import scrapy

class simplify(scrapy.Spider):  # 需要继承scrapy.Spider类

    name = "myscrapy2"  # 定义爬虫名

	#scrapy的url属性
    start_urls = [
        '',
    ]

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'simplify-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('保存文件: %s' % filename)

THREE:数据提取

基本思路： 打开scrapy shell，当shell载入后，获得一个shell变量response，在response.selector属性上绑定了一个selector。由于使用普遍，于是，scrapy定义了两个快捷方式：response.xpath( ) 和 response.css( )，也可以结合正则表达式来使用选择器。

css选择器

1.简单三函数介绍

# 假设提取head中的title标签
<title>SCRAPY爬虫实验室 - SCRAPY中文网提供</title>


# 先shell一个链接
scrapy shell http://lab.scrapyed.cn

# 第一个函数：提取到selector的一个列表,同时说明css选择器底层是xpath
In [1]: response.css('title')
Out[1]: [<Selector xpath='descendant-or-self::title' data='<title>SCRAPY爬虫实验室 - SCRAPY中文网提供</title>'>]


# 加上::text提取标签的内容
In [8]: response.css('title::text')
Out[8]: [<Selector xpath='descendant-or-self::title/text()' data='SCRAPY爬虫实验室 - SCRAPY中文网提供'>]


# 第二个函数，提取data中全部title的标签，这里只有一个title
In [2]: response.css('title').extract()
Out[2]: ['<title>SCRAPY爬虫实验室 - SCRAPY中文网提供</title>']

In [7]: response.css('title::text').extract()
Out[7]: ['SCRAPY爬虫实验室 - SCRAPY中文网提供']

# 第三个函数，只要标签，不需要列表
In [3]: response.css('title').extract()[0]
Out[3]: '<title>SCRAPY爬虫实验室 - SCRAPY中文网提供</title>'
In [4]: response.css('title').extract_first()
Out[4]: '<title>SCRAPY爬虫实验室 - SCRAPY中文网提供</title>'
# 提取标签文本
In [5]: response.css('title::text').extract_first()
Out[5]: 'SCRAPY爬虫实验室 - SCRAPY中文网提供'
In [6]: response.css('title::text').extract()[0]
Out[6]: 'SCRAPY爬虫实验室 - SCRAPY中文网提供'

2.提取标签的属性值和指定标签

# 提取标签的属性值（标签名::attr(属性名)），例如a标签中herf的url值
In [13]: response.css("a::attr(href)").extract()
Out[13]: 
['http://lab.scrapyd.cn/',
 'http://lab.scrapyd.cn/archives/57.html',
 'http://lab.scrapyd.cn/tag/%E8%89%BA%E6%9C%AF/',
 'http://lab.scrapyd.cn/tag/%E5%90%8D%E7%94%BB/',
 'http://lab.scrapyd.cn/archives/55.html',
 'http://lab.scrapyd.cn/tag/%E8%89%BA%E6%9C%AF/',
 'http://lab.scrapyd.cn/tag/%E5%90%8D%E7%94%BB/',
 'http://lab.scrapyd.cn/archives/29.html',
# 后面。。。。。省略，爬出了页面中所有a标签的href

选择器
#  .class:限定为class为class中的属性
#  #id：限定为id为id中的属性
#  *：选择所有元素
#  p：选择<p>标签中的属性   
#  div，p：选择<div>和<p>中的属性
#  div p：选择<div>中<p>的属性

In [14]: response.css(".page-navigator a::attr(href)").extract()
Out[14]: 
['http://lab.scrapyd.cn/page/1/',
 'http://lab.scrapyd.cn/page/2/',
 'http://lab.scrapyd.cn/page/3/',
 'http://lab.scrapyd.cn/page/4/',
 'http://lab.scrapyd.cn/page/6/',
 'http://lab.scrapyd.cn/page/2/']


<ol class="page-navigator">
  <li class="current"><a href="http://lab.scrapyd.cn/page/1/">1</a></li>
  <li><a href="http://lab.scrapyd.cn/page/2/">2</a></li>
  <li><a href="http://lab.scrapyd.cn/page/3/">3</a></li>
  <li><a href="http://lab.scrapyd.cn/page/4/">4</a></li>
</ol>

xpath提取

  • 提取属性@
  • 提取限定//
  • 谓语：
  • [@class=“name”]// @href 提取class为name的元素的herf
  • //text() 提取标签里面的内容
    如：//title//text() 表示提取title里面的内容
    • xpath().extract( ) 提取全部列表
    • xpath().extract_first( ) 提取列表里的第一个
# 首先shell链接
scrapy shell http://lab.scrapyd.cn

#爬取的页面代码
<ul class="tags-list">
        <li><a style="color:rgb(192,54,
           114)" href="http://lab.scrapyd.cn/tag/%E4%BA%BA%E7%94%9F/">
         人生</a></li>
        <li><a style="color:rgb(80,179,
           23)" href="http://lab.scrapyd.cn/tag/%E5%8A%B1%E5%BF%97/">
         励志</a></li>
        <li><a style="color:rgb(131,251,
           100)" href="http://lab.scrapyd.cn/tag/%E7%88%B1%E6%83%85/">
         爱情</a></li>
        <li><a style="color:rgb(90,248,
           118)" href="http://lab.scrapyd.cn/tag/%E7%8E%8B%E5%B0%94%E5%BE%B7/">
         王尔德</a></li>
        <li><a style="color:rgb(124,180,
           244)" href="http://lab.scrapyd.cn/tag/%E6%99%BA%E6%85%A7/">
         智慧</a></li>
        <li><a style="color:rgb(173,191,
           87)" href="http://lab.scrapyd.cn/tag/%E6%B3%B0%E6%88%88%E5%B0%94/">
         泰戈尔</a></li>
        <li><a style="color:rgb(115,79,
           86)" href="http://lab.scrapyd.cn/tag/%E7%BB%9D%E4%B8%96%E5%A5%BD%E8%AF%8D/">
         绝世好词</a></li>
        <li><a style="color:rgb(168,8,
           174)" href="http://lab.scrapyd.cn/tag/%E6%9C%A8%E5%BF%83/">
         木心</a></li>
        <li><a style="color:rgb(71,171,
           23)" href="http://lab.scrapyd.cn/tag/%E8%89%BA%E6%9C%AF/">
         艺术</a></li>
        <li><a style="color:rgb(195,179,
           141)" href="http://lab.scrapyd.cn/tag/%E5%90%8D%E7%94%BB/">
         名画</a></li>
        <li><a style="color:rgb(147,54,
           6)" href="http://lab.scrapyd.cn/tag/%E7%94%9F%E6%B4%BB/">
         生活</a></li>
        <li><a style="color:rgb(51,222,
           115)" href="http://lab.scrapyd.cn/tag/%E8%AF%8D/">
         词</a></li>
     	<li><a href="http://lab.scrapyd.cn">返回首页</a></li>
<li><a href="http://bbs.scrapyd.cn" target="_blank">SCRAPY中文社区</a></li>
	<li><a href="http://www.scrapyd.cn" target="_blank">SCRAPY中文网</a></li>
</ul>	


# 爬取属性href
In [6]: response.xpath("//ul[@class='tags-list']//@href")
Out[6]: 
[<Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E4%B
A%BA%E7%9'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E5%8
A%B1%E5%B'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E7%8
8%B1%E6%8'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E7%8
E%8B%E5%B'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E6%9
9%BA%E6%8'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E6%B
3%B0%E6%8'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E7%B
B%9D%E4%B'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E6%9
C%A8%E5%B'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E8%8
9%BA%E6%9'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E5%9
0%8D%E7%9'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E7%9
4%9F%E6%B'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn/tag/%E8%A
F%8D/'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://lab.scrapyd.cn'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://bbs.scrapyd.cn'>,
 <Selector xpath="//ul[@class='tags-list']//@href" data='http://www.scrapyd.cn'>]



In [7]: response.xpath("//ul[@class='tags-list']//@href").extract()
Out[7]: 
['http://lab.scrapyd.cn/tag/%E4%BA%BA%E7%94%9F/',
 'http://lab.scrapyd.cn/tag/%E5%8A%B1%E5%BF%97/',
 'http://lab.scrapyd.cn/tag/%E7%88%B1%E6%83%85/',
 'http://lab.scrapyd.cn/tag/%E7%8E%8B%E5%B0%94%E5%BE%B7/',
 'http://lab.scrapyd.cn/tag/%E6%99%BA%E6%85%A7/',
 'http://lab.scrapyd.cn/tag/%E6%B3%B0%E6%88%88%E5%B0%94/',
 'http://lab.scrapyd.cn/tag/%E7%BB%9D%E4%B8%96%E5%A5%BD%E8%AF%8D/',
 'http://lab.scrapyd.cn/tag/%E6%9C%A8%E5%BF%83/',
 'http://lab.scrapyd.cn/tag/%E8%89%BA%E6%9C%AF/',
 'http://lab.scrapyd.cn/tag/%E5%90%8D%E7%94%BB/',
 'http://lab.scrapyd.cn/tag/%E7%94%9F%E6%B4%BB/',
 'http://lab.scrapyd.cn/tag/%E8%AF%8D/',
 'http://lab.scrapyd.cn',
 'http://bbs.scrapyd.cn',
 'http://www.scrapyd.cn']



In [8]: response.xpath("//ul[@class='tags-list']//@href").extract()[0]
Out[8]: 'http://lab.scrapyd.cn/tag/%E4%BA%BA%E7%94%9F/'



In [9]: response.xpath("//ul[@class='tags-list']//@href").extract_first()
Out[9]: 'http://lab.scrapyd.cn/tag/%E4%BA%BA%E7%94%9F/'


 # 爬取a标签的文字
In [13]: response.xpath("//ul[@class='tags-list']//a//text()")
Out[13]: 
[<Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         人生'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         励志'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         爱情'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         王尔德'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         智慧'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         泰戈尔'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         绝世好词'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         木心'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         艺术'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         名画'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         生活'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='\r\n         词'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='返回首页'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='SCRAPY中文社区'>,
 <Selector xpath="//ul[@class='tags-list']//a//text()" data='SCRAPY中文网'>]



In [14]: response.xpath("//ul[@class='tags-list']//a//text()").extract()
Out[14]: 
['\r\n         人生',
 '\r\n         励志',
 '\r\n         爱情',
 '\r\n         王尔德',
 '\r\n         智慧',
 '\r\n         泰戈尔',
 '\r\n         绝世好词',
 '\r\n         木心',
 '\r\n         艺术',
 '\r\n         名画',
 '\r\n         生活',
 '\r\n         词',
 '返回首页',
 'SCRAPY中文社区',
 'SCRAPY中文网']



In [15]: response.xpath("//ul[@class='tags-list']//a//text()").extract()[0]
Out[15]: '\r\n         人生'



In [16]: response.xpath("//ul[@class='tags-list']//a//text()").extract_first()
Out[16]: '\r\n         人生'

正则表达式（结合xpath或者css）

response.css().re()
response.xpath().re()

正则表达式可以参考前面编译原理词法分析的博客

sHuXnHs
关注
专栏目录
python之scrapy(二)选择器的使用
YeChao3的博客
11-05 1711
{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "Selector的用法" ] }, { "cell_type": "markdown", "metadata": {}, &q
Scrapy源码分析-Spiders爬虫中文文档（一）
张小琦的博客专栏
07-19 1万+
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 对spider来说，爬取的循环类似下文: 以初始的URL初始化Request，并设置回调函数。 当该request下载完毕并返回时，将生成response，并
Scrapy 选择器使用
lizhixin200的博客
04-15 1018
Scrapy 选择器 xpath css
scrapy
defending的博客
11-13 2360
中文文档   http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html 一 介绍     Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化
scrapy css选择器提取a标签内href属性值
weixin_41767339的博客
05-16 9798
示例Html： <div class='abc'> <a href='https://blog.csdn.net/weixin_41767339'> Hello word! </a> </div> response.css("div.abc a::attr(href)").extract()[0] ...
Scrapy
范高伦的博客
09-20 1641
简介 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. [外链图片转存失败(img-2YfuKtrq-1564107702634)(C:\Users\aqiu\Desktop\scrapy\1.png)] Scrapy主要包括了以下组件： 引擎(Scrapy) 用来...
基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar
最新发布
04-18
基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视...
scrapy-selenium:Scrapy中间件使用Selenium处理javascript页面
04-30
Scrapy中间件可使用Selenium处理javascript页面。 安装 $ pip install scrapy-selenium 您应该使用python> = 3.6 。 您还将需要一种与Selenium。 配置 添加要使用的浏览器，驱动程序可执行文件的路径，以及将要传递...
scrapy-helper:一个简单的 GUI 浏览器，用于在使用 Scrapy 时方便地查找 CSS 选择器
05-29
我制作的一个简单工具，可以在使用 Scrapy 时更轻松地找到正确的 CSS 选择器。 运行它所需要的只是一个 Python 安装。 python app . py 然后在 localhost:8080 上查看。 执照 公共区域。 捆绑的依赖项（Bottle....
Scrapy入门：爬取古诗文
12-21
然后在爬虫代码中，解析响应并提取所需数据，可以使用Scrapy提供的选择器（如XPath或CSS选择器）进行数据提取。提取出来的数据可以通过yield语句生成Item实例，并可能伴随着新的请求，以便爬取更多页面。 总之，...
scrapy基础知识
淼淼不暴躁!
06-20 795
scrapy基础scrapy的工程建立pipelines 的使用 scrapy的工程建立 win10 cmd 相应命令行: cd c:/jj 到c盘jj文件 清除cmd的所有文字 cls 1.创建一个scarpy的项目: scarpy startproject name —name 是工程名字 2.生成一个爬虫 在文件里面有sprider文件建立一个爬虫 scarpy genspider name “xxxxx” -----name 是文件名字, xxx是限制 3.完善爬虫 4.运行爬虫 在建立工
爬虫写法进阶:普通函数--->函数类--->Scrapy框架
weixin_30817749的博客
01-16 135
本文转载自以下网站: 从 Class 类到 Scrapy https://www.makcyun.top/web_scraping_withpython12.html 普通函数爬虫: https://www.cnblogs.com/sanduzxcvbnm/p/10271493.html 函数类爬虫:https://www.makcyun.top/web_scraping_with...
scrapy学习笔记（一）
qq_44639286的博客
05-03 576
scrapy学习笔记scrapy简介scrapy结构各组件介绍window下安装方法第一个scrapy项目1、创建项目：目录结构说明创建爬虫items.py声明变量爬虫代码设置settings设置piplines.py爬取多个页面预告 scrapy简介 Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，...
爬虫中的scrapy框架
weixin_59285003的博客
02-05 1088
爬虫中的scrapy框架 什么是框架 就是一个集成了很多功能并且具有很强通用性的一个项目模板。 如何学习框架？ 专门学习框架封装的各类功能的详解用法。 什么是scrapy? 爬虫中封装好的一个明星框架。 功能： 高性能的持久化存储 异步的数据下载 高性能的数据解析 分布式 scrapy框架的基本使用 环境的安装： pip install scrapy 测试安装成功： 在终端里录入scra
python 网站爬虫（四） Scrapy讲解
我是小飞熊的博客
01-25 352
python 网站爬虫（四） Scrapy讲解 1、Spider类 Spider 类是 Scrapy 中的主要核心类，它定义了如何爬取某个(或某些)网站。包括爬取的动作（例如是否跟进链接），以及如何从网页的内容中提取结构化数据（爬取item）。spider类是scrapy框架最基础的类，以后配到的许多类，基本上都是继承自它。 Spider 是循环爬取，它的爬取步骤是： start_requests 方法用 start_urls 中的 URL 初始化 Request ，然后将请求返回结果 Response
Scrapy笔记（4）- Selector详解
热门推荐
sdulsj的博客
10-31 1万+
在你爬取网页的时候，最普遍的事情就是在页面源码中提取需要的数据，我们有几个库可以帮你完成这个任务： BeautifulSoup是python中一个非常流行的抓取库,它还能合理的处理错误格式的标签，但是有一个唯一缺点就是：它运行很慢。lxml是一个基于ElementTree的XML解析库(同时还能解析HTML),不过lxml并不是Python标准库 而Scrapy实现了自己的数据提取机制，它
scrapy-使用
iFan 的博客
03-12 1228
该文章涉及方面比较多，后面会将该文章拆开，每个方面都会进行详细的说明和使用，但是该文件的内容不变。 Scrapy 爬虫框架的使用 手册 基础介绍 安装 pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl pip install Scrapy 错误 ModuleNotFoundError: No module named ‘win32api’ ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值