Scrapy爬虫框架 启动几种方式

初学者很多是在终端启动scrapy，但是真正实战中我们可以另外创建一个启动脚本，方便我们管理项目的启动
在Scrapy项目根目录下创建一个 run.py 的文件

from scrapy import cmdline
cmdline.execute("scrapy crawl ceshi_spider".split())

当我们运行这个文件， Scrapy项目能正常启动。但是如果有多个爬虫文件需要启动，那就要要创建多个运行文件了，这样显得很麻烦。那我们可以用以下几种方式来运行爬虫文件。

1.按顺序运行爬虫文件

import os
from scrapy import cmdline
os.system("scrapy crawl ceshi_spider1")
cmdline.execute("scrapy crawl ceshi_spider2".split())

利用 os.system来运行爬虫文件，这样写当 ceshi_spider1 运行完了，接着就会运行 ceshi_spider2爬虫文件。

2.同时运行多个爬虫文件

import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings)
process.crawl('ceshi_spider1')
process.crawl('ceshi_spider2')
process.start()

使用这种办法可以在同一进程里面同时启动多个爬虫

3.运行爬虫文件的时候传参

import os

citys = {
    "仲恺区": "441392",
    "惠城区": "441302",
    "惠阳区": "441303",
}
for city, city_code in citys.items():
    os.system(f'scrapy crawl huicheng_spider -a region={city} -a idx={city_code}')

-a可以自定义传参，当我们运行这个启动文件的时候参数在爬虫的整个生命周期都是存在的。

class CeshiSpiderSpider(scrapy.Spider):
    name = 'ceshi_spider'

    def __init__(self, region, index):
        self.region = region
        self.index = index