scrapy问题
文章平均质量分 65
Lemon_guess
这个作者很懒,什么都没留下…
展开
-
scrapy-redis(分布式爬虫)
一、概念概念:多台机器对一个项目进行分部联合爬取。作用:增加工作单位,提升爬取效率。前提:每一台工作机器都需要scrapy的运行环境。原创 2021-08-02 16:50:57 · 945 阅读 · 0 评论 -
scrapy中关于POST请求的问题
首先谈一下常规情况,常规方法:#手动提交postclass LoginSpider(scrapy.Spider): name = 'login' #allowed_domains = ['www.xxx.com'] start_urls = ['https://user.qzone.qq.com/137*****0'] def start_requests(self): #手动发送post请求 yield scrapy.FormRequest(u原创 2021-07-29 02:13:53 · 483 阅读 · 0 评论