为什么 Scrapy 启动 A 爬虫，B 爬虫会自动启动？

为什么 Scrapy 启动 A 爬虫，B 爬虫会自动启动？

Scrapy 是怎么加载爬虫的?
我们知道，Scrapy 的 spiders 文件夹里面，可以定义很多个爬虫文件。只要每个爬虫文件的 name 的值不一样，那么，我们就可以使用scrapy crawl name 的值来启动特定的爬虫。

那么，Scrapy 它是怎么根据这个名字找到对应的类的呢?

实际上，在我们执行scrapy crawl xxx的时候，Scrapy 有几个主要的步骤：

首先遍历spiders 文件夹下面的所有文件，在这些文件里面，寻找继承了scrapy.Spider的类
获取每个爬虫类的name属性的值
添加到一个公共的字典里面{‘name1’: 爬虫类1, ‘name2’: ‘爬虫类2’}
获取scrapy crawl xxx具体要启动的那个爬虫的名字，从公共字典里面，找到这个名字对应的爬虫类
执行这个爬虫类，得到一个爬虫对象。然后调用爬虫对象的start_requests()方法
从这个过程我们可以知道，spiders 文件夹下面，每一个爬虫类都会被加载。

他把这段代码写在了所有方法之外，让他处于了类属性的区域。在这个区域里面的代码，在爬虫类被加载的时候，就会执行。

如果要解决这个问题，只需要把这段代码，放到start_requests()方法里面就可以了。

https://www.51cto.com/article/683422.html

https://cloud.tencent.com/developer/article/1883848