Day:007（2） | Python爬虫：高效数据抓取的编程技术（scrapy框架使用）

最新推荐文章于 2024-11-17 19:39:42 发布
最新推荐文章于 2024-11-17 19:39:42 发布
阅读量1k 收藏 31
点赞数 35
分类专栏： # Python爬虫 文章标签： python 爬虫 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49547615/article/details/137697159
版权

Scrapy 数据的提取

        Scrapy有自己的数据提取机制。它们被称为选择器。我们可以通过使用的选择器re、xpath、css提取数据

提示
不用再安装与引入Xpath,BS4

获得选择器

Response对象获取
正常使用 
response.selector.xpath('//span/text()').get()
response.selector.css('span::text').get()
response.selector.re('<span>')
快捷使用
response.xpath('//span/text').get()
response.css('span::text').get()

创建对象 

from scrapy.selector import Selector

 通过text参数 初始化

body = '<html><body><span>good</span></body></html>'
Selector(text=body).xpath('//span/text()').get()

通过response参数 初始化

from scrapy.selector import Selector
from scrapy.http import HtmlResponse
response =HtmlResponse(url='http://example.com',body=body)
Selector(response=response).xpath('//span/text()').get()
'good'
选择器的方法
S.N.方法 & 描述
extract()、getall()它返回一个unicode字符串以及所选数据
extract_first()、get()它返回第一个unicode字符串以及所选数据
re()它返回Unicode字符串列表，当正则表达式被赋予作为参数时提取
xpath()它返回选择器列表，它代表由指定XPath表达式参数选择的节点
css()它返回选择器列表，它代表由指定CSS表达式作为参数所选择的节点

Scrapy Shell的使用

        Scrapy Shell是一个交互式shell，可以在不运行spider项目时，快速调试 scrapy 代码。

提示
一般用于测试xpath或css表达式，查看它们是否能提取想要的数据

注意
当从命令行运行Scrapy Shell时，记住总是用引号括住url，否则
url包含参数（即 & 字符）不起作用。

在Windows上，使用双引号： 

scrapy shell "https://scrapy.org"

Scrapy 保存数据到文件

  • 用Python原生方式保存
with open("movie.txt", 'wb') as f:
    for n, c in zip(movie_name,
movie_core):
        str = n+":"+c+"\n"
        f.write(str.encode())
  • 使用Scrapy内置方式

         scrapy 内置主要有四种：JSON，JSON lines，CSV，XML
          最常用的导出结果格为JSON，命令如下： 

scrapy crawl dmoz -o douban.json -t json

 参数设置：

  • -o 后面导出文件名
  • -t 后面导出的类型

                可以省略，但要保存的文件名后缀，写清楚类型

注意
将数据解析完，返回数据，才可以用命令保存，代码如下，格
式为dict或item类型

  • return data
  • yield data

Item Pipeline的使用

        当数据在Spider中被收集之后，可以传递到Item Pipeline中统一进行处理。

特点
        每个item pipeline就是一个普通的python类，包含的方法名如下：

  • 方法名
含义是否必须实现
process_item(self,item,spider)用于处理接收到的item是
open_spider(self,spider)表示当spider被开启的时候调用这个方法否
close_spider(self,spider)当spider关闭时候这个方法被调用否

功能 

  • 接收item

        在 process_item 方法中保存

  • 是否要保存数据

        取决于是否编写代码用于保存数据

  • 决定此Item是否进入下一个pipeline
    • return item 数据进入下一个pipeline
    • drop item 抛弃数据

案例代码 

class SaveFilePipeline:

    def open_spider(self,spider):
        self.file = open('douban5.txt','w')

    def process_item(self, item, spider):
        self.file.write(f'name:{item.get("name")} score:{item.get("score")}\n')

    def close_spider(self,spider):
        self.file.close()

from scrapy.exceptions import DropItem

class XSPipeline:
    def open_spider(self,spider):
        self.file =
open('xs.txt','w',encoding='utf-8')
    def process_item(self, item, spider):
        if item.get('title'):
          
self.file.write(item.get('title'))
            self.file.write('\n')
            return item
        else:
            raise DropItem(f"Missing title
in {item}")
    
    def close_spider(self,spider):
        self.file.close()

Scrapy 使用ImagePipeline 保存图片 

        Scrapy提供了一个 ImagePipeline,用来下载图片这条管道，图片管道 ImagesPipeline 提供了方便并具有额外特性的功能，比如：

  • 将所有下载的图片转换成通用的格式（JPG）和模式（RGB）
  • 避免重新下载最近已经下载过的图片
  • 缩略图生成
  • 检测图像的宽/高，确保它们满足最小限制

使用图片管道 

scrapy.pipelines.images.ImagesPipeline

 使用 ImagesPipeline ，典型的工作流程如下所示:：

  • 在一个爬虫中，把图片的URL放入 image_urls 组内(image_urls是个列表)
  • URL从爬虫内返回，进入图片管道
  • 当图片对象进入 ImagesPipeline，image_urls 组内的URLs将被Scrapy的调度器和下载器安排下载
  • settings.py文件中配置保存图片路径参数 IMAGES_STORE
  • 开启管道

注意
需要安装pillow4.0.0以上版本
pip install pillow==9.2.0 

问题
报错：twisted.python.failure.Failure OpenSSL.SSL.Error


解决方案
pip uninstall cryptography
pip install cryptography==36.0.2 

Scrapy 自定义ImagePipeline

问题

使用官方默认图片管道，有如下几个问题：

  • 文件名不友好
  • 存储图片URL的参数名称与类型太固定


解决方案
自定义ImagePipeline，扩展

自定义图片管道 

  • 继承 scrapy.pipelines.images import ImagesPipeline
  • 实现 get_media_requests(self, item, info) 方法
    • 发送请求，下载图片
    • 转发文件名
  • 实现 file_path(self,request,response=None,info=None,*,item=None)
    • 修改文件名与保存路径

代码 

import re

class Scrapy05Pipeline:
    def process_item(self, item, spider):
        return item

from scrapy.pipelines.images import ImagesPipeline
from scrapy.http.request import Request

class MyImagePipeline(ImagesPipeline):
    def get_media_requests(self, item,info):
        return Request(item['image_url'])

  def file_path(self, request,response=None, info=None, *, item=None):
        # 处理文件名中的特殊字符
        # name =item.get('name').strip().replace('\r\n\t\t', '').replace('（','').replace('）','').replace('/','_')
        name = re.sub('/','_',re.sub('[\s（）]','',item.get('name')))
        return  f'{name}.jpg'

Scrapy 中settings配置的使用 

        Scrapy允许自定义设置所有Scrapy组件的行为，包括核心、扩展、管道和spider本身。

官网-参考配置

设置 — Scrapy 2.5.0 文档 (osgeo.cn)icon-default.png?t=N7T8https://www.osgeo.cn/scrapy/topics/settings.html

配置文档

  • BOT_NAME

        默认: 'scrapybot'
        Scrapy项目实现的bot的名字。用来构造默认 User-Agent，同时也用来log。
        当你使用 startproject 命令创建项目时其也被自动赋值。

  • CONCURRENT_ITEMS

        默认: 100
        Item Processor(即 Item Pipeline) 同时处理(每个response的)item的最大值 

  • CONCURRENT_REQUESTS

        默认: 16
        Scrapy downloader 并发请求(concurrent requests)的最大值。 

  • CONCURRENT_REQUESTS_PER_DOMAIN

        默认: 8
        对单个网站进行并发请求的最大值。 

  • CONCURRENT_REQUESTS_PER_IP

        默认: 0
        对单个IP进行并发请求的最大值。如果非0，则忽略
        CONCURRENT_REQUESTS_PER_DOMAIN 设定， 使用该设定。 也就是说，并发限制将针对IP，而不是网站。
        该设定也影响 DOWNLOAD_DELAY: 如果CONCURRENT_REQUESTS_PER_IP 非0，下载延迟应用在IP而不是网站上。 

  • FEED_EXPORT_ENCODING ='utf-8'

        设置导出时文件的编码 

  • DEFAULT_REQUEST_HEADERS

        默认: 

{
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'en',
}

         Scrapy HTTP Request使用的默认header。由
         DefaultHeadersMiddleware 产生。

  • DOWNLOADER_MIDDLEWARES

        默认:: {}
        保存项目中启用的下载中间件及其顺序的字典

  • DOWNLOAD_DELAY

        默认: 0
        下载器在下载同一个网站下一个页面前需要等待的时间。该选项可以用来限制爬取速度， 减轻服务器压力。同时也支持小数 

  • DOWNLOAD_TIMEOUT

        默认: 180
        下载器超时时间(单位: 秒)

  •  ITEM_PIPELINES

        默认: {}
        保存项目中启用的pipeline及其顺序的字典。该字典默认为空，值(value)任意。 不过值(value)习惯设定在0-1000范围内

  • DEPTH_LIMIT

        默认： 0
        类： scrapy.spidermiddlewares.depth.DepthMiddleware
        允许为任何站点爬行的最大深度。如果为零，则不会施加任何限制。

  • LOG_ENABLED

        默认: True
        是否启用logging

  • LOG_ENCODING

        默认: 'utf-8'
        logging使用的编码。

  • LOG_FILE

        默认: None
        logging输出的文件名。如果为None，则使用标准错误输出(standard error)。

  • LOG_FORMAT

        默认: '%(asctime)s [%(name)s] %(levelname)s: %(message)s'
        日志的数据格式

  • LOG_DATEFORMAT

        默认: '%Y-%m-%d %H:%M:%S'
        日志的日期格式

  • LOG_LEVEL

        默认: 'DEBUG'

        log的最低级别。可选的级别有: CRITICAL、 ERROR、WARNING、INFO、DEBUG

  • LOG_STDOUT

        默认: False
        如果为 True ，进程所有的标准输出(及错误)将会被重定向到log中

  • ROBOTSTXT_OBEY

        默认: True
        是否遵循robots协议 

  • USER_AGENT

        默认: "Scrapy/VERSION (+http://scrapy.org/)"
        爬取的默认User-Agent，除非被覆盖

Scrapy默认BASE设置

        scrapy对某些内部组件进行了默认设置，这些组件通常情况下是不能被修改的，但是我们在自定义了某些组件以后，比如我们设置了自定义的middleware中间件，需要按照一定的顺序把他添加到组件之中，这个时候需要参考scrapy的默认设置，因为这个顺序会影响scrapy的执行，下面列出了scrapy的默认基础设置

注意
如果想要修改以下的某些设置，应该避免直接修改下列内容，
而是修改其对应的自定义内容

{
  
'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,

'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,

'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
  
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 400,
  
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 500,
  
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 550,
  
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
  
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
  
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
  
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
  
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,

'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware': 830,
  
'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
  
'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}

 如果需要关闭下载处理器，为其赋值为 None 即可

提示
有时添加了一些自定义的组件，无法应用到效果，可以从执行
顺序方面入手
执行顺序：输值越小，优先级越高

【100天精通Python】Day45：Python网络爬虫开发_ Scrapy 爬虫框架
qq_35831906的博客
08-24 1990
Scrapy 是一个用于爬取网站数据并进行数据提取的开源网络爬虫框架。它使用 Python 编程语言编写，并提供了一套强大的工具和库，帮助用户在网页上浏览和抓取数据。Scrapy 旨在简化爬虫开发流程，提供了高度可定制的机制来处理各种网站的数据抓取需求。Scrapy 提供了一个异步的请求和响应管理系统，允许用户发出 HTTP 请求并处理返回的 HTML 或其他数据。Scrapy 使用基于 XPath 或 CSS 选择器的数据提取方法，使用户能够方便地从网页中提取所需数据。
python爬虫项目（七十四）：使用爬虫技术抓取游戏论坛评论数据并分析游戏受欢迎程度
sybh的博客
10-04 1477
游戏产业在全球范围内蓬勃发展，游戏论坛成为了玩家讨论和分享游戏体验的重要平台。通过分析这些论坛中的玩家评论数据，我们可以了解某款游戏的受欢迎程度、用户反馈和游戏社群的整体情绪。本文将介绍如何使用爬虫技术抓取游戏论坛评论数据，并通过自然语言处理（NLP）技术分析游戏受欢迎程度与玩家的情绪。
Day:007（1） | Python爬虫：高效数据抓取的编程技术（scrapy框架使用）
m0_49547615的博客
04-12 1033
Python爬虫：高效数据抓取的编程技术（scrapy框架使用）--Scrapy的介绍、Scarpy开发第一个爬虫、Scrapy项目的启动介绍、Scrapy启动-命令启动、Scrapy启动-脚本启动、Scrapy输出日志-了解、
Day:007（4） | Python爬虫：高效数据抓取的编程技术（scrapy框架使用）
m0_49547615的博客
04-13 2323
Python爬虫：高效数据抓取的编程技术（scrapy框架使用）--Scrapy 中 Downloader 设置UA、Scrapy 中 Downloader 设置代理、下载中间件实战-Scrapy与Selenium结合、Scrapy保存数据到多个数据库、Scrapy案例、爬虫的分布式思维与实现思路、爬虫分布式-搭建Main端Redis、爬虫分布式-搭建Slave端环境配置
Day:007（3） | Python爬虫：高效数据抓取的编程技术（scrapy框架使用）
m0_49547615的博客
04-13 1377
Python爬虫：高效数据抓取的编程技术（scrapy框架使用）--Scrapy 保存数据案例-小说保存、Scrapy 中 CrawlSpider 使用、Scrapy 中 Request 的使用、Scrapy中下载中间件
Python爬虫学习笔记_DAY_28_Python爬虫之scrapy框架的工作原理与安装使用介绍【Python爬虫】
跳探戈的小龙虾的博客
02-17 1441
p.s.高产量博主，点个关注????不迷路！ 目录 I.scrapy框架的工作原理介绍 II.scrapy框架的安装 III.用scrapy框架搭建并运行第一个项目 I.scrapy框架的工作原理介绍 首先介绍一下scrapy框架是什么： Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试 简单的说，scrapy给我们提供了更加简便、高效的爬虫体验，但与此同时
python爬虫天气实例scrapy_python爬虫之利用scrapy框架抓取新浪天气数据
weixin_33164198的博客
02-04 512
scrapy中文官方文档：点击打开链接Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试，Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫...
[Python爬虫]使用Scrapy框架爬取微博
Black_God1的博客
11-23 1808
Scrapy框架爬取微博简介包Scrapy框架main.py(启动文件)setting.py（配置文件）pq.py(项目文件)话题小组模块模板图片模块用户模块视频模块（未找到视频接口）文章模块（未做）pipelines.py（存储）pic下载器items.py （调节）效果话题 效果图图片 效果图用户/找人 效果图视频 效果图 简介 大家好！ 这是我又在一次的使用Scrapy框架进行爬取微博，这里我将微博模块化方便大家使用和理解这里我分成【找人，文章，视频，图片，话题小组】5个模块。 包 老规矩需要的包如下
爬虫代码matlab-Matlab-A-Day:Matlab-A-Day是一个用ScrapyPython库编写的网络爬虫，它提供来自Mathw
06-07
总的来说，`Matlab-A-Day` 项目是一个实用的学习资源，不仅为 `Matlab` 用户提供了每日示例，同时也展示了如何使用 Python 的 `Scrapy` 框架进行高效的网络爬取。对于想要学习 `Matlab` 编程和网络爬虫技术的人来说...
ks8 本地化部署 F5-TTS
陈锐的技术笔记
11-13 913
此外，F5-TTS 还创新性地引入了推理时的 Sway Sampling 策略，这一策略可以在推理阶段优先处理早期的流步骤，从而提高生成语音与输入文本的对齐效果。在 LibriSpeech-PC 数据集上，该模型的字错误率（WER）达到了2.42，并且在推理时的实时因子(RTF)为0.15，显著优于之前的扩散模型 E2TTS，后者在处理速度和鲁棒性上存在短板。传统的 TTS 模型往往需要进行复杂的持续时间建模、音素对齐和专门的文本编码，这些都增加了合成过程的复杂性。继续TSS的启动，进入pod 输入命令。
丹摩征文活动｜智谱清影 CogVideoX-2b：深度解析部署流程与高效使用指南
2301_77514963的博客
11-17 774
在可控性方面，智谱 AI 研发了一款端到端的视频理解模型，这个模型能够为视频数据生成精确且与内容紧密相关的描述。在于它的 3D 变分自编码器，这项技术能够将视频数据压缩至原来的 2%，极大地降低了模型处理视频时所需的计算资源，还巧妙地保持了视频帧与帧之间的连贯性，有效避免了视频生成过程中可能出现的闪烁问题。，目前，其提示词上限为 226 个 token，视频长度为 6 秒，帧率为 8 帧 / 秒，视频分辨率为 720*480，而这仅仅是初代，性能更强参数量更大的模型正在路上。解压后的目录如图所示。
什么是Python模块化编程
大数据实战派
11-13 467
模块化编程是一种编程方法论，它将程序的功能划分为多个独立的模块，每个模块负责程序中的一部分功能。通过这种方式，程序的代码被分割成更小、更易管理的部分，每个模块都可以独立开发、调试和测试，模块之间通过接口进行交互。模块化编程是将一个复杂的程序拆分为多个独立、功能明确的小模块的编程方法。这不仅提高了代码的复用性和可维护性，还促进了团队协作开发，增强了程序的扩展性。在实际开发中，模块化编程让代码结构更加清晰，逻辑更加简洁，为程序的长久维护和扩展打下了坚实的基础。
外星人入侵
weixin_60243362的博客
11-12 2658
外星人入侵项目实践
使用`nohup`后台运行Python服务不输出日志避坑
A15216110998的专栏
11-14 295
这里的应替换为你的Python脚本名称。错误日志未输出这里使用了2>&1来将错误输出重定向到与标准输出相同的文件。代码中的print()语句未输出到日志有时候，由于Python的缓冲输出机制，print()到屏幕的内容可能不会立即显示在日志中。要解决这个问题，可以使用-u现在，print()语句应该会立即出现在日志文件中。其他注意事项如果你的脚本依赖于环境变量，确保在启动脚本之前已经设置了这些变量，或者在脚本中显式导入它们。考虑使用第三方库如logging。
pytorch基础-数据集导入
gudao07的博客
11-14 1023
pytorch的数据导入，包括dataset,tensorboard,transform,dataloder等
【数值分析】高斯-赛德尔方法、规范化幂法、原点移位法
最新发布
qq_50930131的博客
11-17 175
作者: @bushuo联系方式: 3513566868@qq.com。
python 零散知识点
xzal12的博客
11-17 455
python 零散知识点
Python爬虫学习路线精简大纲！！！
qq_40835367的博客
11-13 408
Python爬虫学习路线精简大纲！！！
YOLOv11改进，YOLOv11添加GnConv递归门控卷积，二次创新C3k2结构
weixin_44779079的博客
11-15 196
gnConv 是一种高效的空间交互操作，通过递归门控卷积实现长距离和高阶的空间交互。其核心思想是通过使用标准卷积、线性投影和逐元素乘法，模拟自注意力中的输入自适应空间混合，但具有更低的计算复杂度。输入自适应的空间交互在传统的卷积神经网络中，卷积操作是通过固定的卷积核对邻域进行加权求和，从而聚合邻域特征。这种方法的缺点是，卷积核是固定的，不具备自适应的能力。与此不同，gnConv 引入了自适应的空间交互，类似于 Transformer 中的自注意力机制。在自注意力机制中，通过多头自注意力（MHSA）
python设置两个软件定时启动
车轮的博客
11-15 662
软件名_path = os.getenv('软件名_PATH', r'软件路径.exe')软件名_path = os.getenv('软件名_PATH', r'软件路径.exe')# 创建调度器并设置时区为Asia/Shanghai。# 使用环境变量获取软件路径。# 启动 xxxxx。# 添加任务，每天下午x点x分执行。请自行替换软件路径及软件名字。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值