Scrapy读取设置文件（settings.py)

最新推荐文章于 2024-03-03 14:41:40 发布

不屑哥

最新推荐文章于 2024-03-03 14:41:40 发布

阅读量3.6k

点赞数

分类专栏： python

python 专栏收录该内容

28 篇文章 0 订阅

订阅专栏

原文：https://blog.csdn.net/sinat_36899414/article/details/78076852

python 3.x

1、引入from scrapy.utils.project import get_project_settings

2、利用get_project_settings()读取settings.py中的属性

在middlewares.py文件中读取setting属性

from scrapy.utils.project import get_project_settings
class YourSpider(BaseSpider):
    def parse(self, response):
        settings = get_project_settings()
        print "Your USER_AGENT is:\n%s" % (settings.get('USER_AGENT'))
#USER_AGENT 在settings.py中定义好的