INFO: Overridden settings: {‘BOT_NAME‘: ‘proName‘, ‘NEWSPIDER_MODULE‘: ‘proName.spiders‘, ‘ROBOTS

最新推荐文章于 2022-12-14 23:31:28 发布

要写注释啊

最新推荐文章于 2022-12-14 23:31:28 发布

阅读量1.5k

点赞数 1

分类专栏： python

本文链接：https://blog.csdn.net/jcodery/article/details/114968209

版权

python 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

[scrapy.crawler] INFO: Overridden settings:
{'BOT_NAME': 'proName',
 'NEWSPIDER_MODULE': 'proName.spiders',
 'ROBOTSTXT_OBEY': True,
 'SPIDER_MODULES': ['proName.spiders']}

 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']

在使用scrapy框架进行数据爬取时，返回的response内容并不是想要获取的，此时将settings.py文件中的ROBOTSTXT_OBEY = True改为ROBOTSTXT_OBEY = False即可。
同时对于终端打印出来的过多的日志内容，可以通过在配置文件中设置LOG_LEVEL = ‘ERROR’，此时终端会省去过多的日志内容，而保留报错内容部分