requests 和 scrapy 在不同的爬虫应用中,各自有什么优势?

equests 是一个http框架,可以用来做爬虫
scrapy 是一个专业的爬虫框架

我是个python新手,研究怎么爬人家网站,朋友推荐我学requests,果然看了下文档,几分钟就能开始爬了

但是我看scrapy 这个爬虫框架,被很多人喜欢,我想这个东西一定有他的独特之处,


我目前使用requests爬的时候,先用其他方法得到cookies,然后把cookies共享给requests,然后爬网站的时候,用起来算很得心应手,但是爬过来的数据,我要自己写逻辑代码,进行解析,进行编码处理,进行入库
或许就是因为它只是一个http库吧!

然后我在思考,scrapy是一个框架,是不是在爬虫应用中,会比requests更好用呢

我要爬的网站有40多个, 如果我改用scrapy框架,
能给我带来多大的好处呢
分别会从哪些方面给我带来好处呢

请知友帮忙解答疑惑

-------------------------------------

请大家帮忙邀请一些牛人 谢谢

https://www.zhihu.com/question/23324984



评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值