- 博客(2)
- 收藏
- 关注
RSS订阅原创 如何充分发挥 Scrapy 的异步能力【转载】
作为一个易上手的高性能爬虫框架，Scrapy 使用 Twisted 异步网络框架处理并发请求。但是，在日常工作和面试过程中，经常发现有些同学会笃定地认为 Scrapy 采用的是多线程并发模型。实际上，虽 然 Twisted 框架提供了线程池支持，但是其核心网络部分处理逻辑依赖的是「单线程 IO 多路复用」技术，在 Linux 平台上，是围绕 epoll() 系统调用实现的 Reactor 模式。...
2019-08-26 11:43:15
1800
原创 【转载】python coroutine，future/task的理解
Event LoopOn any platform, when we want to do something asynchronously, it usually involves an event loop. An event loop is a loop that can register tasks to be executed, execute them, delay or even ...
2019-08-05 00:40:40
405
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人