![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy爬虫
文章平均质量分 85
懂.py的小陈
大数据专业(在读)
展开
-
一个scrapy项目做多个spider数据采集
一、scrapy多个spider爬取数据我们知道爬虫刚开始的时候,通过start_requests(self)方法把所有的url一次性传给调度器,后面的事情就是由调度器来完成的start_requests(self):方法的代码如下 在第7行到10行然后我提醒一下,这个是我一个spider,不是多个spidr我把截图拿出来是因为要让你们知道,我在讲的是哪一个spider为什么要多个spider呢?答:一个spider就只能进行一个类型的链接的抓取,比如翻页操作,如果是其他的链接就不能抓取了,可原创 2021-11-19 17:31:16 · 2177 阅读 · 1 评论 -
爬虫scrapy学完基础总结案例(非常详细)
爬虫scrapy总结笔记1.声明一下:提醒一下,爬虫有风险,我在前几天用学校的ip做爬虫测试,导致人家服务器nginx报错,吓死人了,所以爬虫太快相当于Ddos攻击,要坐牢的!!猫眼电影知道我们很多学生都是拿他做测试,他的反爬措施就是让我们手动拉滑块,防止我们太快,已经是非常良心的了,一般一个ip整站抓取,只要不是太快,一般可以完成,但是就是别快,快了就是给你封ip然后我继续提醒一下:我对爬虫的运行方式已经非常的清楚写的了,这个是我写的总结性笔记1.创建项目#创建爬虫项目scrapy star原创 2021-11-13 19:10:32 · 1524 阅读 · 2 评论