Scrapy 项目中 settings 自定义参数和管道的基本使用

1. settings 自定义参数

KEY = "value"

1.1 引用获取

from mySpider.settings import KEY

1.2 内部获取

创建的爬虫文件获取

print(self.settings["KEY"])
print(self.settings.get("KEY"))
yield {
	"KEY": self.settings["KEY"],
	"GET": self.settings.get("KEY")
}

pipelines.py 文件获取

print("key: " + spider.settings["KEY"])
print("key: " + spider.settings.get("KEY"))

2. 管道的基本使用

pipelines.py 文件

class MyspiderPipeline3:

    def open_spider(self, spider):
        # 定义一个 key
        spider.key = "value"
        print("在爬虫开始的时候执行一次，且只执行一次")

    def close_spider(self, spider):
        print("在爬虫结束的时候执行一次，且只执行一次")

    def process_item(self, item, spider):
        if spider.name == "pipelines":
            print(item)
        return item

# 输出 key
print(f"key: {self.key}")