关于Scrapy: 运行"scrapy crawl" 发生 "TypeError: cannot deepcopy this pattern object"

最新推荐文章于 2021-02-19 22:37:56 发布

Panoslin

最新推荐文章于 2021-02-19 22:37:56 发布

阅读量1k

点赞数 2

分类专栏：爬虫 Python Scrapy 文章标签： scrapy deepcopy python settings

本文链接：https://blog.csdn.net/weixin_40841752/article/details/82979961

版权

在PyCharm 2018.1、Scrapy 1.5.1和Python 3.5.4环境下，运行Scrapy爬虫时遇到'TypeError: cannot deepcopy this pattern object'错误。通过检查traceback，发现问题源于在settings.py中使用了configparser并实例化了一个ConfigParser对象，而Scrapy仅读取大写变量。将变量名改为大写后，问题得到解决。

摘要由CSDN通过智能技术生成

运行环境

PyCharm 2018.1
Scrapy 1.5.1
Python 3.5.4
Windows 10

Scrapy爬虫已经编写完成，运行(scrapy crawl <spider_name> ) 发生如下错误

Traceback (most recent call last):
  ...
  File "d:\pycharmprojects\commercialcrawler\venv\lib\site-packages\scrapy\cmdline.py", line 149, in execute
    cmd.crawler_process = CrawlerProcess(settings)
  File "d:\pycharmprojects\commercialcrawler\venv\lib\site-packages\scrapy\crawler.py", line 249, in __init__
    super(CrawlerProcess, self