scrapy回调函数中使用异步请求

最新推荐文章于 2024-05-29 20:15:58 发布
最新推荐文章于 2024-05-29 20:15:58 发布
阅读量2.8k 收藏 9
点赞数 3
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jerrism/article/details/108003456
版权

同步测试

在scrapy中使用同步io会阻塞所有的异步io：

class MySpider(Spider):
    """测试用脚本"""
    name = 'spider_test_aio'
    custom_settings = dict(
        LOG_LEVEL='DEBUG',
    )

    def start_requests(self):
        for i in range(10, 0, -1):
            yield Request('http://httpbin.org/delay/%s' % i, callback=self.parse)

    def parse(self, response):
        self.log(response)
        requests.get('http://httpbin.org/delay/10')

2020-08-14 14:17:02 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/3> (referer: None)
2020-08-14 14:17:03 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/3>
2020-08-14 14:17:03 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:17:14 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359
2020-08-14 14:17:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/10> (referer: None)
2020-08-14 14:17:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/9> (referer: None)
2020-08-14 14:17:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/7> (referer: None)
2020-08-14 14:17:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/6> (referer: None)
2020-08-14 14:17:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/2> (referer: None)
2020-08-14 14:17:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/5> (referer: None)
2020-08-14 14:17:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/4> (referer: None)
2020-08-14 14:17:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/8> (referer: None)
2020-08-14 14:17:14 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/9>
2020-08-14 14:17:14 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:17:26 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359
2020-08-14 14:17:26 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/7>
2020-08-14 14:17:26 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:17:37 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359
2020-08-14 14:17:37 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/10>
2020-08-14 14:17:37 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:17:48 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359
2020-08-14 14:17:48 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/6>
2020-08-14 14:17:48 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:17:58 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359
2020-08-14 14:17:58 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/1> (referer: None)
2020-08-14 14:17:58 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/8>
2020-08-14 14:17:58 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:18:09 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359
2020-08-14 14:18:09 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/5>
2020-08-14 14:18:09 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:18:19 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359
2020-08-14 14:18:19 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/4>
2020-08-14 14:18:19 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:18:31 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359
2020-08-14 14:18:31 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/2>
2020-08-14 14:18:31 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:18:42 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359
2020-08-14 14:18:42 [scrapy.extensions.logstats] INFO: Crawled 10 pages (at 10 pages/min), scraped 0 items (at 0 items/min)
2020-08-14 14:18:42 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/1>
2020-08-14 14:18:42 [urllib3.connectionpool] DEBUG: Starting new HTTP connection (1): httpbin.org:80
2020-08-14 14:18:52 [urllib3.connectionpool] DEBUG: http://httpbin.org:80 “GET /delay/10 HTTP/1.1” 200 359

实际耗时110s，即异步最长耗时10s+同步10s*10次。

修改为异步

先在setting中进行设置TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'，该设置写在custom_settings中无效（https://github.com/scrapy/scrapy/issues/4485）。再将回调函数中requests的请求过程改为异步：

class MySpider(Spider):
    """测试用脚本"""
    name = 'spider_test_aio'
    custom_settings = dict(
        LOG_LEVEL='DEBUG',
    )

    def start_requests(self):
        for i in range(10, 0, -1):
            yield Request('http://httpbin.org/delay/%s' % i, callback=self.parse)

    async def parse(self, response):
        self.log(response)
        data = await self.parse_with_asyncio()
        yield UniversalItem({'collection': 'test', 'data': {'rsp': data}})

    async def parse_with_asyncio(self):
        self.log('aiohttp begins.')
        async with aiohttp.ClientSession() as session:
            async with session.get('http://httpbin.org/delay/10') as additional_response:
                additional_data = await additional_response.text()
                self.log('aiohttp ends.')
                return additional_data

2020-08-14 14:36:42 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6024
2020-08-14 14:36:48 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/4> (referer: None)
2020-08-14 14:36:48 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/4>
2020-08-14 14:36:48 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/5> (referer: None)
2020-08-14 14:36:49 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/5>
2020-08-14 14:36:49 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/3> (referer: None)
2020-08-14 14:36:49 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/3>
2020-08-14 14:36:49 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:50 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/2> (referer: None)
2020-08-14 14:36:50 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/2>
2020-08-14 14:36:50 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:50 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/6> (referer: None)
2020-08-14 14:36:50 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/7> (referer: None)
2020-08-14 14:36:50 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/6>
2020-08-14 14:36:50 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:50 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/7>
2020-08-14 14:36:50 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:51 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/1> (referer: None)
2020-08-14 14:36:51 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/1>
2020-08-14 14:36:51 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:51 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/8> (referer: None)
2020-08-14 14:36:51 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/8>
2020-08-14 14:36:51 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:53 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/9> (referer: None)
2020-08-14 14:36:53 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/9>
2020-08-14 14:36:53 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:53 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://httpbin.org/delay/10> (referer: None)
2020-08-14 14:36:54 [spider_test_aio] DEBUG: <200 http://httpbin.org/delay/10>
2020-08-14 14:36:54 [spider_test_aio] DEBUG: aiohttp begins.
2020-08-14 14:36:59 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:00 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/4>
None
2020-08-14 14:37:01 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:01 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/3>
None
2020-08-14 14:37:01 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:01 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/7>
None
2020-08-14 14:37:01 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:01 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/6>
None
2020-08-14 14:37:01 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:01 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/2>
None
2020-08-14 14:37:01 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:01 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/5>
None
2020-08-14 14:37:02 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:02 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/1>
None
2020-08-14 14:37:02 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:02 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/8>
None
2020-08-14 14:37:04 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:04 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/9>
None
2020-08-14 14:37:05 [spider_test_aio] DEBUG: aiohttp ends.
2020-08-14 14:37:05 [scrapy.core.scraper] DEBUG: Scraped from <200 http://httpbin.org/delay/10>
None

整个过程耗时约20s，即两个耗时最长的delay/10的请求时间之和。

注意事项

若使用scrapyd部署到服务器上，可能会出现错误：

/root/envs/scrapyd/lib/python3.6/site-packages/scrapy/utils/project.py:94: ScrapyDeprecationWarning: Use of environment variables prefixed with SCRAPY_ to override settings is deprecated. The following environment variables are currently defined: EGG_VERSION
ScrapyDeprecationWarning
Traceback (most recent call last):
File “/usr/lib/python3.6/runpy.py”, line 193, in _run_module_as_main
“main”, mod_spec)
File “/usr/lib/python3.6/runpy.py”, line 85, in _run_code
exec(code, run_globals)
File “/root/envs/scrapyd/lib/python3.6/site-packages/scrapyd/runner.py”, line 40, in
main()
File “/root/envs/scrapyd/lib/python3.6/site-packages/scrapyd/runner.py”, line 37, in main
execute()
File “/root/envs/scrapyd/lib/python3.6/site-packages/scrapy/cmdline.py”, line 142, in execute
cmd.crawler_process = CrawlerProcess(settings)
File “/root/envs/scrapyd/lib/python3.6/site-packages/scrapy/crawler.py”, line 280, in init
super(CrawlerProcess, self).init(settings)
File “/root/envs/scrapyd/lib/python3.6/site-packages/scrapy/crawler.py”, line 156, in init
self._handle_twisted_reactor()
File “/root/envs/scrapyd/lib/python3.6/site-packages/scrapy/crawler.py”, line 344, in _handle_twisted_reactor
super()._handle_twisted_reactor()
File “/root/envs/scrapyd/lib/python3.6/site-packages/scrapy/crawler.py”, line 252, in _handle_twisted_reactor
verify_installed_reactor(self.settings[“TWISTED_REACTOR”])
File “/root/envs/scrapyd/lib/python3.6/site-packages/scrapy/utils/reactor.py”, line 78, in verify_installed_reactor
raise Exception(msg)
Exception: The installed reactor (twisted.internet.epollreactor.EPollReactor) does not match the requested one (twisted.internet.asyncioreactor.AsyncioSelectorReactor)

即已安装的reactor与设置中的不一致，这时需要手动安装AsyncioSelectorReactor

先在settings.py中注释对TWISTED_REACTOR的设置，然后手动安装reactor，同样写在settings.py中即可：

scrapy.utils.reactor.install_reactor('twisted.internet.asyncioreactor.AsyncioSelectorReactor')

相关官方文档：https://docs.scrapy.org/en/latest/topics/settings.html#twisted-reactor

jerrism
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
爬虫（9） - Scrapy框架(1) | Scrapy 异步网络爬虫框架
pythonxxoo的博客
07-05 665
5个组件：2个中间件：Scrapy操作文档(中文的)：https://www.osgeo.cn/scrapy/topics/spider-middleware.htmlcmd窗口，pip进行安装 Scrapy框架安装时常见的问题找不到win32api模块----windows系统中常见 实例: scrapy.cfg：项目的配置文件，定义了项目配置文件的路径等配置信息cd到spiders目录下，输出如下命令，生成爬虫文件： 方式一：cmd启动cd到spiders目录下，执行如下命令，启动爬虫： 方式二：py
scrapy模拟ajax的post请求，爬取动态异步网页
进击的Coder菜鸟
01-22 5239
直接进入正题：一般来说爬虫类框架抓取Ajax动态页面都是通过一些第三方的webkit库去手动执行html页面中的js代码， 最后将生产的html代码交给spider分析。但是一些简单的动态页面比如翻页等动态异步就不用大动干戈的使用Selenium等测试工具框架模拟浏览器执行js操作，直接发送post请求即可。 下面介绍中基协的异步翻页爬取： 创建爬虫不再赘述。 一、页面分析 1.首先右键=...
scrapy报错The installed reactor (twisted.internet.epollreactor.EPollReactor) does not match ...
hblanx的博客
04-13 983
部署到scrapyd上报错
DEBUG:urllib3.connectionpool:解决，必看有用
最新发布
ydp15755423176的博客
05-29 255
【代码】DEBUG:urllib3.connectionpool:解决，必看有用。
scrapy 爬虫框架中 ajax 异步加载 post请求方式的
peiwang245的博客
08-12 1653
scrapy 爬虫框架中 ajax 异步加载 post请求方式的处理方法： 以福建省公共资源交易电子公共服务网站为例https://www.fjggfw.gov.cn/Website/JYXXNew.aspx，爬取招标结果，打开F12控制台界面如下图所示： Request Method:POST post请求方式中主要是Form Data中的信息，及每次请求Cookie信息，通过构造Co...
Python实战：协程异步爬虫Scrapy-Redis
oandy0的博客
03-27 1755
Scrapy-Redis是一个强大的分布式爬虫框架，它结合了Scrapy的易用性和Redis的高性能，使得编写分布式爬虫变得更加简单。通过本文的介绍，我们了解了Scrapy-Redis的基本原理、实现和应用案例。在实际应用中，我们可以根据需要选择合适的功能和最佳实践，以实现高效、可扩展的分布式爬虫。
异步I/O续和Scrapy
beichen0518的博客
06-05 1196
异步I/O续和Scrapy 死锁（deadlock） 死锁的四个条件 禁止抢占 持有和等待 互斥 循环等待 循环引用问题 weakref 弱引用 &quot;&quot;&quot; import weakref class A(): pass class B(): pass a = A() b = B() # 在这里发生了循环调用，如果不做处理会发生严重的内存泄漏 # 所以导...
scrapy数据存储在mysql数据库的两种方式(同步和异步)
09-08
这个方法接收一个回调函数（如`do_insert`）和传入的数据（在这里是`item`）。 5. 为了处理可能出现的异常，可以添加`query.addCallback(self.handle_error)`，这样在出现异常时可以捕获并处理错误。 异步操作提高...
scrapy中文教程（官方）
01-11
使用`yield Request(url, callback=callback_function)`来发起HTTP请求，其中`callback`参数指定当请求完成时调用的回调函数。`yield`关键字使得Scrapy能够异步处理多个请求。 7. **网页解析** Scrapy使用XPath或...
python3爬虫中异步协程的用法
09-16
在Python3爬虫中，异步协程是一个...不过需要注意的是，异步编程虽然高效，但其逻辑相对复杂，需要对回调、异常处理和协程调度有深入理解。在编写爬虫时，要确保正确处理并发和错误情况，以避免数据丢失或程序崩溃。
Scrapy0.24.1 中文文档
02-21
开发者可以自定义Spider类，设置start_urls来指定初始抓取的网页，通过parse或其他回调函数解析响应并提取所需信息。 3. **Items**： Item是Scrapy中的数据模型，用来定义爬取的数据结构。它们类似Python的字典，...
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
在本例中，通过`scrapy.Request()`构造对京东商城的请求，并使用`meta`参数传递额外数据到回调函数。`callback`参数指定响应后的处理函数，这里是`parse_url()`。 **三、解析动态网页** 对于京东商城等动态加载的...
【源码解读】如何充分发挥 Scrapy 的异步能力
崔斯特的博客
04-28 731
作为一个易上手的高性能爬虫框架，Scrapy 使用 Twisted 异步网络框架处理并发请求。但是，在日常工作和面试过程中，经常发现有些同学会笃定地认为 Scrapy 采用的是多线程并发...
Ajax回调函数中在创建一次请求提交
wr166的博客
12-06 1180
在做项目的时候遇到如下问题： 在前台请求一个ajax访问服务器的相关地址（目的是为了判断服务器端是否有该图片）然后返回的error函数里面想对不存在的图片名进行传回后台处理、所以就遇到了这个问题，查了一下资料发现是可以在回调函数里面再写请求函数的：$.ajax(url, { type: 'get', async:false,//取消ajax的异步实现 timeout
scrapy简介
qq_41755255的博客
06-09 1016
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。（360百科）Scrapy 使...
scrapy：顺序执行spider时，使用get_project_settings()获得的配置导致程序卡住
Cloud Flower的博客-专注unity
11-23 983
将TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor' 这行删去。默认生成的settings.py文件中，最下面几行可看到。
第46讲：遇到动态页面怎么办？详解渲染页面爬取
菜鸡小白的成长记录
01-19 1146
前面我们已经介绍了 Scrapy 的一些常见用法，包括服务端渲染页面的抓取和 API 的抓取，Scrapy 发起 Request 之后，返回的 Response 里面就包含了想要的结果。 但是现在越来越多的网页都已经演变为 SPA 页面，其页面在浏览器中呈现的结果是经过 JavaScript 渲染得到的，如果我们使用 Scrapy 直接对其进行抓取的话，其结果和使用 requests 没有什么区别。 那我们真的要使用 Scrapy 完成对 JavaScript 渲染页面的抓取应该怎么办呢？ 之前我们介绍了
python数据分析案例2-1：Python练习-Python爬虫框架Scrapy入门与实践
childboy的博客
08-07 1418
本文建立在学习完大壮老师视频Python最火爬虫框架Scrapy入门与实践,自己一步一步操作后做一个记录(建议跟我一样的新手都一步一步进行操作). 主要介绍: 1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式 = 抓取目标: 本文通过网页豆瓣电影排行数据的抓取和清洗,介绍Pyth.
循环调用scrapy框架出现的问题：twisted.internet.error.ReactorNotRestartable，解决方法
weixin_56992740的博客
04-27 2492
这两天遇到个问题，就是需要循环调用scrapy框架 这是官网给的几种方法（但是这只是调用多个爬虫的方法） https://doc.scrapy.org/en/latest/topics/practices.html#running-multiple-spiders-in-the-same-process from twisted.internet import reactor, defer from scrapy.crawler import CrawlerRunner from scrapy.ut
scrapy回调函数是什么
03-13
Scrapy是一个用于爬取网站数据的Python框架，它提供了一套强大的机制来处理网页的下载、解析和数据提取等任务。在Scrapy中，回调函数是一种用于处理爬取结果的机制。 回调函数是在Scrapy中定义的一种函数，用于处理从网页下载器返回的响应。当Scrapy下载完一个网页后，会将响应传递给指定的回调函数进行处理。回调函数可以对响应进行解析、提取数据，并进一步发起新的请求或者进行其他操作。 通过使用回调函数，可以实现Scrapy的异步处理和页面跟踪功能。当一个网页下载完成后，可以根据需要选择不同的回调函数来处理不同的响应，从而实现对多个页面的并行处理和数据提取。 在Scrapy中，可以通过定义Spider类中的`parse`方法作为默认的回调函数，也可以通过`Request`对象的`callback`参数来指定特定的回调函数。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值