scrapy如何查看log日志信息？

最新推荐文章于 2024-04-27 12:58:57 发布

风华浪浪

最新推荐文章于 2024-04-27 12:58:57 发布

阅读量2.9k

点赞数 1

分类专栏： p爬虫

本文链接：https://blog.csdn.net/a6864657/article/details/83111351

版权

p爬虫专栏收录该内容

37 篇文章 5 订阅

订阅专栏

1Log信息
如何查看log日志信息？

LOG_ENABLED		是否开启log 
LOG_ENCODING 		编码格式

2)重要

LOG_FILE			log文件路径

LOG_LEVEL 
    CRITICAL 		- 严重错误(critical)
    ERROR		 - 一般错误(regular errors)
    WARNING	 - 警告信息(warning messages)
    INFO 		- 一般信息(informational messages)
    DEBUG		 - 调试信息(debugging messages)

4.2部署时可能用到的setting配置项

CONCURRENT_REQUESTS		下载器并发数量设置，默认16
DEPTH_LIMIT			    爬取深度
DOWNLOAD_TIMEOUT		下载超时
CONCURRENT_ITEMS		item管道同时处理item数量
CONCURRENT_REQUESTS_PER_DOMAIN	域名的并发请求
CONCURRENT_REQUESTS_PER_IP	ip的并发请求数量