近日在研究scrapy + django
结果发现了scrapyd这么个东西
先说明一下,建议使用celery控制scrapy而不是scrapyd来控制
说理由,scrapyd最后一次更新在19年6月18号...离谱
所以说,会碰到这个问题:
Traceback (most recent call last):
File "C:\Users\USER\Anaconda3\Scripts\scrapyd-deploy", line 23, in <module>
from scrapy.utils.http import basic_auth_header
ModuleNotFoundError: No module named 'scrapy.utils.http'
完全是因为! scrapyd的版本太老了,所以scrapy不兼容,因为scrapy的更新还是挺频繁的
看一下同期的历史版本:
差了一个大版本,就离谱
所以,咱们得
pip install scrapy==1.6.0
安装完了之后,你就发现,好使了!
之后可以参照
scrapyd 环境搭建项目发布及运行_x631617479的博客-CSDN博客
这一篇大大的文章
如有转载,请注明原文地址
否则我会将根据《中华人民共和国著作权法》对抄袭人提起诉讼