爬虫——scrapy，弱引用weakref.ref

最新推荐文章于 2024-08-01 15:04:56 发布
最新推荐文章于 2024-08-01 15:04:56 发布
阅读量1k 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41781877/article/details/80591266
版权

爬虫框架

爬虫的框架无非就是3步骤：

  1. 过滤——筛选需要的信息
  2. 映射——把数据映射想要的形式
  3. 规约——提取有用的信息
    filter——map——reduce
    下面这个图很好的解释了什么是这三部的含义
    这里写图片描述

scrapy

前面我们学习了多种包括利用自带的和第三方的插件来进行爬取数据，现在介绍一个简单流行的爬虫框架——scrapy

介绍：

下图展示了Scrapy的基本架构，其中包含了主要组件和系统的数据处理流程（图中带数字的红色箭头）。

组件

1.Scrapy引擎（Engine）：Scrapy引擎是用来控制整个系统的数据处理流程。
2.调度器（Scheduler）：调度器从Scrapy引擎接受请求并排序列入队列，并在—–Scrapy引擎发出请求后返还给它们。
3.下载器（Downloader）：下载器的主要职责是抓取网页并将网页内容返还给蜘蛛（Spiders）。
4.蜘蛛（Spiders）：蜘蛛是有Scrapy用户自定义的用来解析网页并抓取特定URL返回的内容的类，每个蜘蛛都能处理一个域名或一组域名，简单的说就是用来定义特定网站的抓取和解析规则。
5.条目管道（Item Pipeline）：条目管道的主要责任是负责处理有蜘蛛从网页中抽取的数据条目，它的主要任务是清理、验证和存储数据。当页面被蜘蛛解析后，将被发送到条目管道，并经过几个特定的次序处理数据。每个条目管道组件都是一个Python类，它们获取了数据条目并执行对数据条目进行处理的方法，同时还需要确定是否需要在条目管道中继续执行下一步或是直接丢弃掉不处理。条目管道通常执行的任务有：清理HTML数据、验证解析到的数据（检查条目是否包含必要的字段）、检查是不是重复数据（如果重复就丢弃）、将解析到的数据存储到数据库（关系型数据库或NoSQL数据库）中。
6.中间件（Middlewares）：中间件是介于Scrapy引擎和其他组件之间的一个钩子框架，主要是为了提供自定义的代码来拓展Scrapy的功能，包括下载器中间件和蜘蛛中间件。
这里写图片描述

安装：

同样最好配置虚拟环境
然后更新一些pip
安装scrapy
安装的时候会报错缺少c++主键去下载然后安装
执行scrapy

scrapy startporject NAME .（注意这里需要打一个“.”）
根据提示：敲如下命令：scrapy genspider NAME 主url –template=crawl

上述步骤如下图
这里写图片描述

这里写图片描述

如果在创建genspider的时候没有加 –template=crawl，spiders文件中就会使用scrapy.Spider类而不是CrawlSpider，主要区别在于使用rules，只有Craw能使用，节约时间和效率，但是如果要写具体的复杂url还是需要改写，这个我们下一篇来说明

步骤

  1. 在items.py文件中定义字段，这些字段用来保存数据，方便后续的操作。

    xxx = scrapy.Field()
    xxxx = scrapy.Field()

  2. 在spiders文件夹中编写自己的爬虫。
    这里会运用到xpath，
    xpath类似find和select同样表示在前端筛选爬取的数据
    其中rules表示自动根据写入的url来爬取，简单点说遇到你写的url如果写了回滚函数（callback）就去执行，如果没写就表示在该url中继续爬取a标签

import scrapy
from scrapy.selector import Selector
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

from douban.items import DoubanItem


class MovieSpider(CrawlSpider):
    name = 'movie'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']
    rules = (
        Rule(LinkExtractor(allow=(r'https://movie.douban.com/top250\?start=\d+.*'))),
        Rule(LinkExtractor(allow=(r'https://movie.douban.com/subject/\d+')), callback='parse_item'),
    )

    def parse_item(self, response):
        sel = Selector(response)
        item = DoubanItem()
        item['name']=sel.xpath('//*[@id="content"]/h1/span[1]/text()').extract()
        item['year']=sel.xpath('//*[@id="content"]/h1/span[2]/text()').re(r'\((\d+)\)')
        return item

3.在pipelines.py中完成对数据进行持久化的操作。
4. 修改settings.py文件对项目进行配置。

# -*- coding: utf-8 -*-

# Scrapy settings for qiche project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://doc.scrapy.org/en/latest/topics/settings.html
#     https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://doc.scrapy.org/en/latest/topics/spider-middleware.html

BOT_NAME = 'qiche'

SPIDER_MODULES = ['qiche.spiders']
NEWSPIDER_MODULE = 'qiche.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
             'Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True #需要打开

# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 3 #和下面都要打开

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 3 #和上面都要打开避免封杀IP
RANDOMIZE_DOWNLOAD_DELAY = True
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
COOKIES_ENABLED = True
# 将持久化写这里方便调用修改
MONGODB_SERVER = '180.76.154.142'
MONGODB_PORT = 27017
MONGODB_DB = 'qiche'
MONGODB_COLLECTION = 'car'

# Disable Telnet Console (enabled by default)
#TELNETCONSOLE_ENABLED = False

# Override the default request headers:
#DEFAULT_REQUEST_HEADERS = {
#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#   'Accept-Language': 'en',
#}

# Enable or disable spider middlewares
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
SPIDER_MIDDLEWARES = {
   'qiche.middlewares.QicheSpiderMiddleware': 543, #如果在middle中设置了隐藏ip就需要打开这里
}

# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#DOWNLOADER_MIDDLEWARES = {
#    'qiche.middlewares.QicheDownloaderMiddleware': 543,
#}

# Enable or disable extensions
# See https://doc.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'qiche.pipelines.QichePipeline': 300,# 持久化处理需要打开
}
LOG_LEVEL = 'DEBUG'
# Enable and configure the AutoThrottle extension (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE_ENABLED = True
# The initial download delay
#AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
#AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
#AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
HTTPCACHE_ENABLED = True # 固定需要打开
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
HTTPCACHE_IGNORE_HTTP_CODES = []
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

XPATH用法

直接在浏览器中选中然后复制，so easy嘛~！
这里写图片描述
最后在后面写入extract，否则不能提取出来

调试bug

在scrapy中可以用shell调试所截取的内容是否截取到

安装

pip install pypiwin32

查看链接

然后scrapy shell url
这里写图片描述
查看网页是否连接上了
如果返回200表示成功接下来就可以调试了

xpath是否生效

犹豫无法查看是否写正确，可以在这里调试

xel.xpath(‘xxxxxxxx’)
这里写图片描述

弱引用

如果在写程序的时候遇到类方法相互调用不能直接写a=b,b=a
这样会导致内存无法释放，因此需要用到weakref
循环引用容易导致内存无法释放
可以用弱引用weakref.ref

import weakref
import gc

class A

class B

while True:
a = A()
b = B()
a.mgr = b
#正确
b.dept = weakref.ref(a)
print(gc.garbage)# 查看状态
del a
del b
print(gc.garbage)
cwd_python
关注
爬虫——Scrapy框架 (初步学习+简单案例)
qq_53715682的博客
06-09 1950
定义了爬取结果的数据结构，爬取的结果会被赋值成Item对象，每个Item都是一个类，类里面定义了爬取结果的数据字段，可以理解为用来规定数据的存储格式。5. Downloader（下载器）：负责下载Engine发送的所有请求，将获取的Response返回给Engine，再发给Spiders处理。1. Engine（引擎）：用来处理整个系统的数据流和时间，是整个框架的核心，可以理解为中央处理器，负责数据的流转和逻辑的处理。steam 用户创建的文件，定义爬取的url以及对数据的处理。
python爬虫案例scrapy-demos.zip
05-30
2. 创建爬虫：进入到项目所在的路径，执行命令：`scrapy genspider [爬虫名字] [爬虫的域名]`。注意，爬虫名字不能和项目名称一致。 ## 项目目录结构： 1. items.py：用来存放爬虫爬取下来数据的模型。 2. ...
Python 垃圾回收和弱引用（Weakref）
Vincent的博客
03-28 1547
Python中的赋值语句是建立变量名与对象的引用关系，多个变量可以引用同一个对象，当对象的引用数归零时，可能会被当作垃圾回收。而弱引用即可以引用对象，又不会阻止对象被当作垃圾回收，因此这个特性非常适合用在缓存场景，当对象被当作垃圾回收时，其缓存信息会同步清除。
WeakRef和weakref
开发游戏的老王
11-13 714
Godot Engine 3.2Beta WeakRef API WeakRef是Godot的一个类，继承于Reference<Object WeakRef weakref(obj:Object)是一个全局函数，对于参数，返回其弱引用对象 WeakRef有一个成员函数get_ref()用于获取其引用的实际对象 所谓弱引用即它能够指向一个引用但是该引用不会触发垃圾回收的计数器，若引用非...
Python笔记:weakref模块
无香花自开
08-05 4832
和许多其它的高级语言一样，Python使用了垃圾回收器来自动销毁那些不再使用的对象。每个对象都有一个引用计数，当这个引用计数为0时Python能够安全地销毁这个对象。 使用weakref模块，你可以创建到对象的弱引用，Python在对象的引用计数为0或只存在对象的弱引用时将回收这个对象。 一、 创建弱引用 你可以通过调用weakref模块的ref(obj[,callback])来
Python中的weakref的简单用法示例
黄笳倞的博客
04-24 4713
目录 一、概念 二、解决问题 三、代码及解释 四、结论 一、概念 对一个对象的弱引用（weak reference）。相对于通常的引用来说，如果一个对象有一个常规的引用，它是不会被垃圾收集器销毁的，但是如果一个对象只剩下一个弱引用，那么它可能被垃圾收集器收回。 二、解决问题 父亲节点的指针指向孩子节点，孩子节点又指向父亲节点，这构成了循环引用（circuclar reference...
一文看懂弱引用！Python中的weakref有什么用？
DaoiestFire的博客
07-01 971
弱引用确实是一个不太好理解的概念，本文就用图画给大家讲解一下什么是弱引用 第一部分：图画结合代码讲解弱引用概念第二部分：weakref有什么用第三部分：讲讲C语言中的弱引用 众所周知，在Python与java中都有垃圾收集器(garbage collector)存在,当一个实例的引用计数记为0时，gc就会自动的回收内存。 弱引用一言以蔽之，就是它不会增加被引用对象的引用计数。即使弱引用存在，垃圾回收器也会当没看见一样，认为这个对象是可回收的。但是我们确实可以通过弱引用到达一个对象。 第一部分：图画讲
新浪微博爬虫（Scrapy、Redis）.zip
11-09
【标题】：“新浪微博爬虫（Scrapy、Redis）”指的是一个使用Scrapy框架和Redis数据库构建的微博数据抓取系统。Scrapy是一个强大的Python爬虫框架，而Redis则是一个高性能的键值存储系统，常用于缓存和消息队列。 ...
scrapy爬虫项目代码.zip
07-19
scrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码.zipscrapy爬虫项目代码....
python弱引用_python中的weakref弱引用用法
weixin_35715402的博客
02-04 733
观察者模式弱引用是观察者模式，A持有B的弱引用，那么不会对B增加引用计数。当B引用计数为0之后，A尝试通过弱引用访问B就会失败，因为弱引用对象是观察者，观察着B对象的引用计数。不同的编程语言实现弱引用的底层原理略有不同，但本质都是观察者模式。深度解读下面以C++为例，其实一个对象的引用计数是存储在对象之外的堆内存中的，下面请紧跟我的思路。A对象在私有属性保存着refcount指针，refcount...
基于Web的爬虫系统设计与实现
最新发布
laojin1234的博客
08-01 981
视图（View）：视图就是views.py中的函数，也就是逻辑代码，为了将URL和视图关联起来，用到了上述的URLConfs，URLConfs将URL模式映射到视图中，每个视图有两件事是必须要做的：返回一个包含被请求页面的HttpResponse对象，或者抛出一个异常。
python：weakref --- 弱引用
点点关注不迷路
03-05 1131
python：weakref --- 弱引用
python中的弱引用weakref
遥远的她
03-29 6840
今天在看python cookbook时遇到一个有趣的问题，特作小记，有知道这个问题原因的兄弟请不吝赐教. 首先，python中的垃圾回收机制是简单的基于引用计数规则的，这一点很好理解，当一个实例对象长时间没人使用时，gc就会自动把它回收掉。不知道那些技术牛的程序员如何看待Python、Java这些自动内存管理的编程语言，但我从C——C++——Python的路线走过来，还是喜欢自己管理内存，手动...
[Pyhton]weakref 弱引用
orangleliu 笔记本
11-02 5039
文档中的解释： https://docs.python.org/2/library/weakref.html
爬虫学习代码，包含beatifulSoup，scrapy框架....
05-29
这个压缩包文件包含了一系列关于爬虫学习的代码示例，主要涉及BeautifulSoup和Scrapy这两个流行的Python爬虫框架。以下是对这两个工具及其相关知识点的详细介绍： 1. BeautifulSoup BeautifulSoup是一个Python库，...
python weakref的用法
NeverLate_gogogo的博客
06-29 6314
首先提一点：大家遇到python模块的使用问题，尽可能去 python document去找答案。英文看不懂？只能说看看就懂了。 书归正传，下文主要是我翻译于python document。能读懂引文的尽量去官网看。 想要了解weakref，我们首先说一下python的垃圾回收机制 稍后继续写 ...
g_object_weak_ref的意义和用途[zt]
weixin_33709364的博客
05-01 127
g_object_weak_ref的意义和用途 转载时请注明出处和作者联系方式：http://blog.csdn.net/absurd作者联系方式：Li XianJing <xianjimli at hotmail dot com>更新时间：2007-1-17 引用计数是控制对象生命周期常用的手法，对象初始引用计数为一，引用一次计数加一，反引用一次计数减一，直到计...
深入理Python中的弱引用
南风以南
04-27 971
首先，我们需要理解强引用和弱引用的基本概念。在Python中，对象有两种引用类型：强引用和弱引用。强引用是最常见的引用方式，当我们有一个变量引用一个对象时，只要该变量存在，对象就不会被垃圾回收，直到所有强引用消失。而弱引用则不同，它不会阻止对象被垃圾回收，只有当没有其他强引用时，弱引用的对象才会被释放。弱引用不同于强引用，它并不阻止对象被垃圾回收。简单来说，如果一个对象只有弱引用，那么即使所有强引用都消失了，这个对象也不会立即被销毁，直到没有任何其他引用存在时，才会被垃圾回收器清理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值