requests 和 scrapy 区别于选择

requests 是一个http框架,可以用来做爬虫
scrapy 是一个专业的爬虫框架

优点缺点
requests入门快,自己实现,易于拓展修改实现一个稳定的业务比较麻烦
scrapy提供各种工具,较为方便前期需要进行学习配置,后期限制比较多

如果是长期做的话,那建议,先入手scrapy,然后再对这个框架进行自己需求上的升级。维护开源库,进行造轮子,哈哈

参考:
requests 和 scrapy 在不同的爬虫应用中,各自有什么优势?

ScrapyRequests 都是常用的 Python 爬虫工具,但它们有一些区别。 1. 架构:Scrapy 是一个完整的爬虫框架,它提供了整个爬虫流程的管理和控制。它有自己的调度器、中间件和管道等组件,可以更好地管理请求、解析和存储数据。而 Requests 是一个简单的 HTTP 库,用于发送 HTTP 请求和处理响应,但它并不提供整个爬虫流程的管理。 2. 异步性能:Scrapy 使用异步网络库 Twisted 来实现非阻塞的请求处理,可以同时发送多个请求并处理响应,从而提高爬取效率。而 Requests 是同步的,每次发送请求都需要等待响应返回才能继续下一步操作。 3. 功能扩展:Scrapy 提供了丰富的功能扩展机制,可以通过编写中间件、管道等扩展组件来实现自定义的功能,比如自动翻页、自动登录等。Requests 则相对简单,提供了基本的请求和响应处理功能,如果需要更复杂的功能需要自行实现。 4. 学习曲线:Scrapy 的学习曲线相对较陡峭,因为它是一个完整的框架,需要掌握其整个工作流程和各个组件的使用。而 Requests 则非常简单易用,上手和学习成本较低。 总的来说,如果需要开发大规模、高效率的爬虫项目,或者需要自定义功能的扩展,可以选择使用 Scrapy。如果只是进行简单的 HTTP 请求和响应处理,或者对爬虫项目规模较小,可以选择使用 Requests
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值