关于scrapy 默认settings的坑

最新推荐文章于 2022-07-11 07:36:00 发布

艾森merlin

最新推荐文章于 2022-07-11 07:36:00 发布

阅读量818

点赞数 1

分类专栏：跳过的坑编程文章标签： scrapy 默认配置文件settings

本文链接：https://blog.csdn.net/weixin_39579124/article/details/89441954

版权

编程同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

跳过的坑

0 篇文章 0 订阅

订阅专栏

scrapy默认的配置文件settings，里面的配置必须要全大写，不然获取的时候无法获取到，自己由于这个踩了很久的坑啊！！！！！！！！！！
以下的是我自己的小程序，
配置文件部分代码：

MYQL_HOST = '127.0.0.1'
MYSQL_DATABASE = 'spiders'
MYSQL_USER = 'root'
MYSQL_PASSWORD = '123'
MYSQL_PORT = 3306
# 全大写--能获取到
LP_IS_ALL = False # 配置是否全部爬取
BOSS_IS_ALL = True
YJS_IS_ALL = True
# 部分大写--无法获取
lp_is_all = False
Boss_IS_ALL = True
Yjs_IS_ALL = True

下图是debug的settings属性查看，里面找不到小写的相关属性
获取配置文件方法：

# 在spider中获取settings配置
# 需要导入包
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
isAll = settings.get('BOSS_IS_ALL')

在这里插入图片描述
仅以此来让大家有相同问题的不爬坑