scrapyd / gerapy 异常集合

最新推荐文章于 2024-04-10 09:54:10 发布

杉杉锅锅

最新推荐文章于 2024-04-10 09:54:10 发布

阅读量1k

点赞数 1

分类专栏： scrapy 文章标签： python 爬虫

本文链接：https://blog.csdn.net/MaSSS9/article/details/121660148

版权

4 篇文章 0 订阅

订阅专栏

先说版本
Scrapy 1.5.0
scrapyd 1.2.1
gerapy 0.9.7
不知道是啥原因部署起来遇到好几个问题，记录一下

在这里插入图片描述

在这里插入图片描述
然后尝试用scrapyd部署项目也抛了这个异常
可以看出来是scrapyd模块的某一个地方对一个变量做了decode，由此引发了异常。
搜了一下还真有遇到相同问题的( https://www.pianshen.com/article/98501050648/ )

在这里插入图片描述
在这个utils.py下 140行处

    tmp = out.decode('utf-8').splitlines()

改为

    if isinstance(out, bytes):
        tmp = out.decode('utf-8').splitlines()
    else:
        tmp = out.splitlines()

重启服务ok
在这里插入图片描述

在这里插入图片描述
找了一下rerapy里这个请求的view

输出调试了一下，发现是

DjangoJob.objects.filter(name=job_id).delete()
这一行抛了异常导致后面delete没有执行，加个try

关注