- 博客(3)
- 收藏
- 关注
RSS订阅原创 如何使用asyncio建立高效的协程爬虫
Demon的python日记基于asyncio、aiohttp实现的爬虫aiohttp官方文档asyncio官方文档简单实现，代码如下（无备注，多看下源码、文档）：#!/usr/bin/python# -*- coding: utf-8 -*-import aiohttpimport asynciofrom lxml import etreemax_a = 5class AsyncSpider: def __init__(self): self.semaph
2020-06-20 00:01:46
291
原创 Scrapy中的信号机制：优化爬虫流程的利器
Demon的Python日记scrapy from_crawler@classmethod def from_crawler(cls, crawler, *args, **kwargs): spider = cls(*args, **kwargs) spider._set_crawler(crawler) return spiderclassmethod是干什么的？官方解释： classmethod(function) -> m
2020-06-12 15:04:20
315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人