Scrapy框架架构---学习笔记

最新推荐文章于 2025-03-27 19:42:48 发布
最新推荐文章于 2025-03-27 19:42:48 发布
阅读量325 收藏 1
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42114466/article/details/107487650
版权
本文介绍了Scrapy框架的基本架构，包括Scrapy引擎、调度器、爬虫、下载器、Item Pipeline等组件及其工作流程。此外，还详细讲述了Scrapy的快速入门，包括安装、创建项目、目录结构和爬虫代码解析。文章还提到了CrawlSpider爬虫、LinkExtractor链接提取器、Rule规则类以及Scrapy Shell的使用，并讨论了Request和Response对象。最后，讲解了如何在Scrapy中使用代理和下载器中间件。
摘要由CSDN通过智能技术生成

Scrapy框架架构

Scrapy框架介绍：

写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。

Scrapy架构图：

  1. 流程图（1）：
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MGcG4eEa-1595311760352)(./scrapy_all.png)]

  2. schedulers 调度器

    scrapy engine 引擎

    spiders 爬虫

    downloader 下载器

    itempipline 管道 存储 数据

    spider middlewares 爬虫中间件

    downloader middlewares 下载器中间件

  3. 流程图（2）：

Scrapy[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FD1JOI8N-1595311760356)(\框架图.png)]框架模块功能：

1.爬虫发送请求 并不是马上发出去 而是引擎

2.再 发给调度器 调度器接收到url 以后 将url生成requests对象 存储到队列中

3.引擎从调度器种取出请求

4.引擎将requests对象 扔给下载器

5.下载器拿到请求从网上下载数据 再将数据 组装成response对象返回给引擎

6.引擎拿到response对象 返回给爬虫

7.爬虫对数据再进行分析 留下想要 的 数据 再返回给 引擎

8.引擎再给管道 存到 redis 或者mysql 或者 mongodb中

引擎和下载器 之间 有中间件 爬虫和 引擎之间 也有中间件

  1. Scrapy Engine（引擎）：Scrapy框架的核心部分。负责在Spider和ItemPipeline、Downloader、Scheduler中间通信、传递数据等。类似于汽车发动机
  2. Spider（爬虫）：发送需要爬取的链接给引擎，最后引擎把其他模块请求回来的数据再发送给爬虫，爬虫就去解析想要的数据。这个部分是我们开发者自己写的，因为要爬取哪些链接，页面中的哪些数据是我们需要的，都是由程序员自己决定。
  3. Scheduler（调度器）：负责接收引擎发送过来的请求，并按照一定的方式进行排列和整理，负责调度请求的顺序等。
  4. Downloader（下载器）：负责接收引擎传过来的下载请求，然后去网络上下载对应的数据再交还给引擎。
  5. Item Pipeline（管道）：负责将Spider（爬虫）传递过来的数据进行保存。具体保存在哪里，应该看开发者自己的需求。
  6. Downloader Middlewares（下载中间件）：可以扩展下载器和引擎之间通信功能的中间件。
  7. Spider Middlewares（Spider中间件）：可以扩展引擎和爬虫之间通信功能的中间件。

Scrapy快速入门

安装和文档：

  1. 安装：通过pip install scrapy即可安装。
  2. Scrapy官方文档：http://doc.scrapy.org/en/latest
  3. Scrapy中文文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

注意：

  1. 在ubuntu上安装scrapy之前，需要先安装以下依赖：
    sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev，然后再通过pip install scrapy安装。
  2. 如果在windows系统下，提示这个错误ModuleNotFoundError: No module named 'win32api'，那么使用以下命令可以解决：pip install pypiwin32。
  3. 下载 Twisted-18.9.0-cp36-cp36m-win_amd64.whl 然后放到指定的目录下 纯英文 没权限限制 切换到这个目录 pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl
  4. pip install scrapy

快速入门：

创建项目：

要使用Scrapy框架创建项目，需要通过命令来创建。首先进入到你想把这个项目存放的目录。然后使用以下命令创建：

scrapy startproject [项目名称]

目录结构介绍：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HErkbSbH-1595311760359)(\目录结构.png)]

以下介绍下主要文件的作用：

  1. items.py：用来存放爬虫爬取下来数据的模型。
  2. middlewares.py：用来存放各种中间件的文件。
  3. pipelines.py：用来将`items`的模型存储到本地磁盘中。
  4. settings.py：本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等）。
  5. scrapy.cfg：项目的配置文件。
  6. spiders包：以后所有的爬虫，都是存放到这个里面。

当引擎将下载组装的respons对象给 爬虫的时候

爬虫对数据进行分析

response.xpath() 详情 ctrl+鼠标点击 xpath 查看 其它的分析方法 返回的内容是 SelectorList

一下两个都是将其转成Unicode编码 并提取出来

get() 返回的是Selector 中的第一个文本

getall()返回的是Selector 中的所有文本 是个列表

使用Scrapy框架爬取糗事百科段子：

使用命令创建一个爬虫：
scrapy genspider qsbk "qiushibaike.com"

创建了一个名字叫做qsbk的爬虫，并且能爬取的网页只会限制在qiushibaike.com这个域名下。

爬虫代码解析：
import scrapy

class QsbkSpider(scrapy.Spider):
    name = 'qsbk'
    allowed_domains = ['qiushibaike.com']
    start_urls = ['http://qiushibaike.com/']

    def parse(self, response):
        pass

其实这些代码我们完全可以自己手动去写，而不用命令。只不过是不用命令，自己写这些代码比较麻烦。
要创建一个Spider，那么必须自定义一个类，继承自scrapy.Spider，然后在这个类中定义三个属性和一个方法。

  1. name：这个爬虫的名字，名字必须是唯一的。
  2. allow_domains：允许的域名。爬虫只会爬取这个域名下的网页，其他不是这个域名下的网页会被自动忽略。
  3. start_urls：爬虫从这个变量中的url开始。
  4. parse：引擎会把下载器下载回来的数据扔给爬虫解析，爬虫再把数据传给这个parse方法。这个是个固定的写法。这个方法的作用有两个，第一个是提取想要的数据。第二个是生成下一个请求的url。
修改settings.py代码：

在做一个爬虫之前，一定要记得修改setttings.py中的设置。两个地方是强烈建议设置的。

  1. ROBOTSTXT_OBEY设置为False。默认是True。即遵守机器协议，那么在爬虫的时候，scrapy首先去找robots.txt文件，如果没有找到。则直接停止爬取。
  2. DEFAULT_REQUEST_HEADERS添加User-Agent。这个也是告诉服务器，我这个请求是一个正常的请求，不是一个爬虫。
完成的爬虫代码：

  1. 爬虫部分代码：

     import scrapy
 from abcspider.items import QsbkItem

 class QsbkSpider(scrapy.Spider):
     name = 'qsbk'
     allowed_domains = ['qiushibaike.com']
     start_urls = ['https://www.qiushibaike.com/text/']

     def parse(self, response):
         outerbox = response.xpath("//div[@id='content-left']/div")
         items = []
         for box in outerbox:
             author = box.xpath(".//div[contains(@class,'author')]//h2/text()").extract_first().strip()
             content = box.xpath(".//div[@class='content']/span/text()").extract_first().strip()
             item = QsbkItem()
             item["author"] = author
             item["content"] = content
             items.append(item)
         return items

  2. items.py部分代码：

     import scrapy
 class QsbkItem(scrapy.Item):
     author = scrapy.Field()
     content = scrapy.Field()

  3. pipeline部分代码：

     import json

 class AbcspiderPipeline(object):
     def __init__(self):

         self.items = []

     def process_item(self, item, spider):
         self.items.append(dict(item))
         print("="*40)
         return item

     def close_spider(self,spider):
         with open('qsbk.json','w',encoding='utf-8') as fp:
             json.dump(self.items,fp,ensure_ascii=False)
运行scrapy项目：

运行scrapy项目。需要在终端，进入项目所在的路径，然后scrapy crawl [爬虫名字]即可运行指定的爬虫。如果不想每次都在命令行中运行，那么可以把这个命令写在一个文件中。以后就在pycharm中执行运行这个文件就可以了。比如现在新创建一个文件叫做start.py，然后在这个文件中填入以下代码：


from scrapy import cmdline

# cmdline.execute("scrapy crawl qsbk_spider".split())


cmdline.execute(["scrapy","crawl",'qsbk_spider'])

pipline 管道 用来将数据存储在文件或者数据库中 有三个方法是常用的

  1. open_spider(self,spider) #当爬虫被打开的时候执行

  2. process_item(self, item, spider)当爬虫 有item 传递过来的时候 调用

  3. close_spider(self,spider) #当爬虫关闭的时候调用

scrapy 导出器 JsonItemExporter 、JsonLinesItemExporter

1.JsonItemExporter

每次把数据添加到内存中 最后统一写到磁盘中 好处存储的是一个满足json规则的数据 缺点：数据量大 耗内存

from  scrapy.exporters import JsonItemExporter,JsonLinesItemExporter
class QsbkPipeline(object):
    def __init__(self):
        self.fp = open("qsbk.json",'wb')
        self.exporter = JsonItemExporter(self.fp,ensure_ascii=False,encoding='utf-8')
        self.exporter.start_exporting()
    def open_spider(self,spider):
        print("爬虫开始了......")
    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self,spider):
        self.fp.close()
        print("爬虫结束了......")

2.JsonLinesItemExporter

每次调用export_item 存到磁盘中 好处 不耗内存 直接持久化 安全 坏处 是每个字典是一行 整个文件不满足json规则

from  scrapy.exporters import JsonLinesItemExporter
class QsbkPipeline(object):
    def __init__(self):
        self.fp = open("duanzi.json",'wb')
        self.exporter = JsonLinesItemExporter(self.fp,ensure_ascii=False,encoding='utf-8')
    def open_spider(self,spider):
        print("爬虫开始了......")
    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self,spider):
        self.fp.close()
        print("爬虫结束了......")

糗事百科 分页

 next_url = response.xpath("//ul[@class='pagination']/li[last()]/a/@href").get()
        if not next_url:
            return
        else:
            yield scrapy.Request(self.base_domain+next_url,callback=self.parse)

总结

  def parse(self, response):
        
        descs = response.xpath("//div[@class='j-r-list-c-desc']")
        
  1.response是 scrapy.http.response.html.HttpResponse 对象 可以执行 xpath 和css选择器语法 
  2.抓取出来的数据是一个 selector 或者 selectorlist 如果想要获取其中的字符串   那么使用 get 或者getall() 
  	getall() 获取的是选择器所有的文本  返回的是一个列表
  	get() 返回的是 selector的第一个文本  返回的是一个str 字符串 
  3. 数据解析成功 交给 pipline去处理可以使用yield来返回  或者收集所有的item（数据行） 统一使用return返回 也可以 
  4.在item中定义模型 设置好每个字段  
  5.pipline 就是将item 保存到数据库中 几个方法常用
  	open_spider() 爬虫被打开运行的时候执行
  	process_item() 当有item(数据行传过来的时候调用)
  	close_spider() 当爬虫关闭的时候被调用  
  	要激活pipline  
  	到settings.py
  	
ITEM_PIPELINES = {
   'qsbk.pipelines.QsbkPipeline': 300,
}  取消注释 即可

CrawlSpider

在上一个糗事百科的爬虫案例中。我们是自己在解析完整个页面后获取下一页的url，然后重新发送一个请求。有时候我们想要这样做，只要满足某个条件的url，都给我进行爬取。那么这时候我们就可以通过CrawlSpider来帮我们完成了。CrawlSpider继承自Spider，只不过是在之前的基础之上增加了新的功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，而不用手动的yield Request。

CrawlSpider爬虫：

创建CrawlSpider爬虫：

之前创建爬虫的方式是通过scrapy genspider [爬虫名字] [域名]的方式创建的。如果想要创建CrawlSpider爬虫，那么应该通过以下命令创建：

scrapy genspider  [爬虫名字] [域名] #原来是这样子  
scrapy genspider -t crawl [爬虫名字] [域名]
举例:scrapy genspider -t crawl wxapp_spider wxapp-union.com

LinkExtractors链接提取器：

使用LinkExtractors可以不用程序员自己提取想要的url，然后发送请求。这些工作都可以交给LinkExtractors，他会在所有爬的页面中找到满足规则的url，实现自动的爬取。以下对LinkExtractors类做一个简单的介绍：

class scrapy.linkextractors.LinkExtractor(
    allow = (),
    deny = (),
    allow_domains = (),
    deny_domains = (),
    deny_extensions = None,
    restrict_xpaths = (),
    tags = ('a','area'),
    attrs = ('href'),
    canonicalize = True,
    unique = True,
    process_value = None
)

主要参数讲解：

  • allow：允许的url。所有满足这个正则表达式的url都会被提取。
  • deny：禁止的url。所有满足这个正则表达式的url都不会被提取。
  • allow_domains：允许的域名。只有在这个里面指定的域名的url才会被提取。
  • deny_domains：禁止的域名。所有在这个里面指定的域名的url都不会被提取。
  • restrict_xpaths：严格的xpath。和allow共同过滤链接。

Rule规则类：

定义爬虫的规则类。以下对这个类做一个简单的介绍：

class scrapy.spiders.Rule(
    link_extractor, 
    callback = None, 
    cb_kwargs = None, 
    follow = None, 
    process_links = None, 
    process_request = None
)

主要参数讲解：

  • link_extractor：一个LinkExtractor对象，用于定义爬取规则。
  • callback：满足这个规则的url，应该要执行哪个回调函数。因为CrawlSpider使用了parse作为回调函数，因此不要覆盖parse作为回调函数自己的回调函数。
  • follow：指定根据该规则从response中提取的链接是否需要跟进。
  • process_links：从link_extractor中获取到链接后会传递给这个函数，用来过滤不需要爬取的链接。

Scrapy Shell

我们想要在爬虫中使用xpath、beautifulsoup、正则表达式、css选择器等来提取想要的数据。但是因为scrapy是一个比较重的框架。每次运行起来都要等待一段时间。因此要去验证我们写的提取规则是否正确，是一个比较麻烦的事情。因此Scrapy提供了一个shell，用来方便的测试规则。当然也不仅仅局限于这一个功能。

打开Scrapy Shell：

打开cmd终端，进入到Scrapy项目所在的目录，然后进入到scrapy框架所在的虚拟环境中，输入命令scrapy shell [链接]。就会进入到scrapy的shell环境中。在这个环境中，你可以跟在爬虫的parse方法中一样使用了。

scrapy shell http://www.wxapp-union.com/article-5617-1.html

title = title = response.xpath("//h1[@class=‘ph’]/text()").get()

title

Request和Response对象

Request对象：

from scrapy import Request

Request对象在我们写爬虫，爬取一页的数据需要重新发送一个请求的时候调用。这个类需要传递一些参数，其中比较常用的参数有：

  1. url：这个request对象发送请求的url。
  2. callback：在下载器下载完相应的数据后执行的回调函数。
  3. method：请求的方法。默认为GET方法，可以设置为其他方法。
  4. headers：请求头，对于一些固定的设置，放在settings.py中指定就可以了。对于那些非固定的，可以在发送请求的时候指定。
  5. meta：比较常用。用于在不同的请求之间传递数据用的。
  6. encoding：编码。默认的为utf-8，使用默认的就可以了。
  7. dont_filter：表示不由调度器过滤。在执行多次重复的请求的时候用得比较多。
  8. errback：在发生错误的时候执行的函数。

Response对象：

from scrapy.http.response.html import HtmlResponse

Response对象一般是由Scrapy给你自动构建的。因此开发者不需要关心如何创建Response对象，而是如何使用他。Response对象有很多属性，可以用来提取数据的。主要有以下属性：

  1. meta：从其他请求传过来的meta属性，可以用来保持多个请求之间的数据连接。
  2. encoding：返回当前字符串编码和解码的格式。
  3. text：将返回来的数据作为unicode字符串返回。
  4. body：将返回来的数据作为bytes字符串返回。
  5. xpath：xapth选择器。
  6. css：css选择器。

发送POST请求：

有时候我们想要在请求数据的时候发送post请求，那么这时候需要使用Request的子类FormRequest来实现。如果想要在爬虫一开始的时候就发送POST请求，那么需要在爬虫类中重写start_requests(self)方法，并且不再调用start_urls里的url。

使用 代理 下载器中间件

1.在middlewares.pyz中

## user-agent 代理  
class UserAgentDownloadMiddleware(object):
    USER_AGENTS = [
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14931',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A',
        'Opera/9.80 (Macintosh; Intel Mac OS X 10.14.1) Presto/2.12.388 Version/12.16',
        'Mozilla/5.0 (BlackBerry; U; BlackBerry 9900; en) AppleWebKit/534.11+ (KHTML, like Gecko) Version/7.1.0.346 Mobile Safari/534.11+',
    ]

    def process_request(self, request, spider):
        user_agent = random.choice(self.USER_AGENTS)
        request.headers['User-Agent'] = user_agent
        
        

## ip地址 以及  独享代理设置   注意 加上 http https协议名  
class IPProxyDownloadMiddlewares(object):
    PROXIES = ["http://27.42.168.46:33025"]
    def process_request(self, request, spider):
        proxy = random.choice(self.PROXIES)
        request.meta['proxy'] = proxy
    # def process_request(self, request, spider):
    #     proxy = "http://112.74.108.33:16816"
    #     user_password = "gaohj5:ddk5fr4z"
    #     request.meta['proxy'] = proxy
    #     b64_user_password = base64.b64encode(user_password.encode('ascii')) #用base64进行编码 encode str-》bytes
  		  request.headers['Proxy-Authorization'] = 'Basic ' + b64_user_password.decode('utf-8')

2.在settings.py中 激活 这两个中间件

DOWNLOADER_MIDDLEWARES = {
   'useragent_demo.middlewares.UserAgentDownloadMiddleware': 543,
   'useragent_demo.middlewares.IPProxyDownloadMiddlewares': 100,
}

3.spider中

# -*- coding: utf-8 -*-
import scrapy
import json

class UseragentSpider(scrapy.Spider):
    name = 'useragent_demo'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/user-agent']

    def parse(self, response):
        print(response)
        user_agent = json.loads(response.text)['user-agent']
        print("="*50)
        print(user_agent)
        print("="*50)
        yield scrapy.Request(self.start_urls[0],dont_filter=True)
        
        
        
  # -*- coding: utf-8 -*-
import scrapy
import json

class IpproxySpider(scrapy.Spider):
    name = 'ipproxy'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/ip']

    def parse(self, response):
        user_agent = json.loads(response.text)['origin']
        print("=" * 50)
        print(user_agent)
        print("=" * 50)
        yield scrapy.Request(self.start_urls[0], dont_filter=True)
怪猫訷
关注
学习笔记(42):21天通关Python（仅视频课）-Scrapy开发爬虫的步骤（上）
12-21
在本节的学习笔记中，我们将探讨如何使用Scrapy框架开发爬虫，特别是在Python环境中。Scrapy是一个强大的开源网络爬虫框架，适用于数据抓取、处理和存储。在本教程中，我们将关注创建一个新的Scrapy项目以及编写基础...
python爬虫实战笔记---以轮子哥为起点Scrapy爬取知乎用户信息
10-13
总结来说，本实战笔记通过Scrapy框架，展示了如何从知乎网站抓取特定用户的关注者和被关注者信息，以及如何使用Scrapy的组件进行数据提取和处理。这个过程不仅涉及到了网络爬虫的基本操作，还涵盖了Scrapy的高级特性...
Scrapy爬取数据并存储到MySQL
一个人的编程之路
09-27 8480
Scrapy爬虫 爬虫框架 架构 流程 组件 功能 同步插入数据库 异步插入数据库 mysql pipeline
爬虫——用Scrapy爬取清华某学院的教授信息
Aviato
09-17 1197
Scrapy爬取清华教授信息 第一个爬虫任务——爬取清华教授的信息。由于清华每个院的网站结构不一样，所以从其中一个院入手——我选择的是土木水利院，进行爬取，需要爬取的信息是教授的名字、教育背景、研究领域、学术成果（若干篇论文）以及百度学术中这些论文的摘要。 工具 使用scrapy框架，解析页面过程中使用xpath进行元素定位。 过程 新建scrapy项目： 在打算存储该项目的目录下打开命令行...
scrapy学习笔记（一）
qq_44639286的博客
05-03 611
scrapy学习笔记scrapy简介scrapy结构各组件介绍window下安装方法第一个scrapy项目1、创建项目：目录结构说明创建爬虫items.py声明变量爬虫代码设置settings设置piplines.py爬取多个页面预告 scrapy简介 Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，...
Scrapy爬虫之items
木尧大兄弟
04-29 2430
之前使用dict把spider中数据传到piplines，显得不专业，于是用items（类似Django先定义好数据字段） 首先，items.py定义字段 import scrapy class XicispiderItem(scrapy.Item): # 存数据模型的，有点像django定义数据库 # define the fields for your item her...
Python Scrapy爬虫框架学习笔记
由于资源名称为studyScrapy.zip，其中包含的文件名仅有一个"studyScrapy"，这表明该压缩包可能仅包含一个文件或文件夹，内容应该是与Scrapy框架的学习笔记或代码示例。文件的描述中提到"第一次学习scrapy，把学习...
Scrapy框架与其他Python爬虫库的对比分析
wx_19970108018的博客
06-28 851
如果需要爬取大量网站的数据，并且需要复杂的处理操作，那么 Scrapy 框架是比较不错的选择；对于初学者来说，建议先学习其他 Python 爬虫库，掌握爬虫的基本技术，再考虑使用 Scrapy 框架进行深入的学习和开发。Scrapy 是一个专门为爬取网站数据而设计的框架，它内置了许多常用的爬虫功能，如自动模拟 HTTP 请求、页面解析、数据提取、数据存储等。BeautifulSoup 是 Python 中非常流行的 HTML 解析库，它可以快速、灵活地解析 HTML 页面，并提取需要的数据。
python爬虫从0到1-Scrapy框架的介绍
2401_84004078的博客
04-21 573
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给ScrapyEngine(引擎)，由引擎交给Spider来处理。Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。现在我们进入一个框架的学习，利用好这个框架，我们可以更快速，更方便的获取到网页上的内容和我们想要的数据。（一）什么是Scrapy。
scrapy中数据处理的两个模块：Item Pipeline与Exporter
python之战
03-06 1944
scrapy提供了如题两个模块来扩展我们的数据处理方式，其中Item Pipeline功能有数据清洗、效验、过滤、存库的作用，Exporter用于扩展scrapy导出数据的格式。 Item Pipeline item pipeline在scrapy项目文件下的pipeline.py文件中，pipeline类不需要继承特定的基类，只需要实现特定的方法如： open_spider:爬虫运行前执行...
python运行程序时传入相关参数的实现
guoqingru0311的博客
06-17 400
python运行程序时传入相关参数的实现方式一：使用方式二：利用sys模块 方式一：使用 代码举例如下所示：利用argparse模块 if __name__ == '__main__': import argparse parser = argparse.ArgumentParser() parser.add_argument('--video_name', type=str, default=r'D:\PycharmProjects\temp_file\movie.mp4', help
Scrapy框架：爬取网易新闻四大板块数据
weixin_43037350的博客
08-19 1288
简介：本文主要记录了学习Scrapy框架的成果，以及Selenium模拟浏览器和SQLite数据库的简单应用。 文章目录前言一、Scrapy是什么？二、拓展知识（Selenium、SQLite）三、具体步骤1.spider.py文件2.items.py文件3.middlewares.py文件4.pipelines.py文件5.settings.py文件6.run_spider.py文件四、结果展示总结 前言 需求：利用Scrapy框架爬取<网易新闻>四大常用板块（国内、国际、军事、无人机）首
scrapy框架的整体架构和组成
Time_xiaoxia的博客
09-23 1186
框架的基本解读 图中绿色的是数据的流向 我们看到图里有这么几个东西，分别是 Spiders：爬虫，定义了爬取的逻辑和网页内容的解析规则，主要负责解析响应并生成结果和新的请求 Engine：引擎，处理整个系统的数据流处理，出发事物，框架的核心。 Scheduler：调度器，接受引擎发过来的请求，并将其加入队列中，在引擎再次请求时将请求提供给引擎 Downloader：下载器，下载网页内容，并将下载内容返回给spider ItemPipeline：项目管道，负责处理spider从网页中抽取的数据，主要是负责清
Python爬虫之Scrapy框架的使用（一）
05-19 851
Python爬虫之Scrapy框架架构一：scrapy框架介绍1.1 Scrapy框架模块功能1.2 scrapy架构图1.3 安装scrapy二：scrapy框架的使用2.1 创建scrapy项目2.2 settings配置文件配置 一：scrapy框架介绍 写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的
疯狂python讲义学习日志03——流程控制
weixin_42182348的博客
05-07 230
python提供了顺序结构、分支结构和循环结构方便用户进行流程控制。所谓顺序结构是在按照正常的书写格式书写的一行行代码，程序运行时会一行一行的执行这些代码美其名曰顺序结构。本章将对python的分支结构和循环结构进行详细说明，为了简洁明了的说明python的分支结构和循环结构，将展示大量示例代码。
Scrapy框架架构详解【python爬虫入门进阶】（23）
码农飞哥
02-07 3580
scrapy框架的架构详细介绍下
scrapy框架，scrapy genspider -1
weixin_42296890的博客
09-07 2457
创建爬虫项目文件命令行工具之scrapy genspider -l 跟着教程走：报错，狗血的原因是错把list的l看成了数字1 于是scrapy genspider -l就变成了scrapy genspider -1 感谢有道翻译，英语渣的痛苦啊。...
闭包、装饰器学习笔记（第二次学习）
最新发布
li758568825的专栏
03-27 1120
def inner(*args, **kwargs): # 这里的 * 和 ** 代表接收参数，打包成元组和字典。print("你好啊，我叫赛利亚，今天又是美好的一天！print("你好啊，我叫赛利亚，今天又是美好的一天！print("你好啊，我叫赛利亚，今天又是美好的一天！print("你好啊，我叫赛利亚，今天又是美好的一天！print("你好啊，我叫赛利亚，今天又是美好的一天！print("你好啊，我叫赛利亚，今天又是美好的一天！play_lol("admin2", "123456", "大盖伦")
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值