![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫那点事
文章平均质量分 52
Crazy丶Mark
这个作者很懒,什么都没留下…
展开
-
scrapy爬虫实战
前几天写了一个爬虫,现在放出来,希望大家在学习爬虫的时候可以少走一点弯路项目的需求如下:爬取起点网上所有作者的所有作品的链接先说明一点,这个项目的主要目的是练习,因此会有一些不合理的地方,请大家不要在意这些细节我们来看一下主要的架构图: 整个架构使用了生产者-消费者模式,AuthorSpider负责爬作者的链接,BookSpider负责爬取该作者的所有作品。在本项目中,由于只...原创 2018-02-28 16:45:15 · 1112 阅读 · 0 评论 -
AttributeError: 'UserPool' object has no attribute 'user_agent'
今天在用Scrapy的时候踩到一个坑,就是在使用用户池模拟浏览器的时候,初始化的时候参数名问题 下面是错误的代码class UserPool(UserAgentMiddleware): def __init__(self,user=''): self.user=user def process_request(self, request, spider):...原创 2018-02-23 20:53:30 · 1210 阅读 · 0 评论