真正的打包scrapy单文件(不包含cfg)

最新推荐文章于 2024-03-19 18:03:46 发布

顽石2019

最新推荐文章于 2024-03-19 18:03:46 发布

阅读量274

点赞数

本文链接：https://blog.csdn.net/weixin_44626952/article/details/102996210

版权

本文介绍了如何将Scrapy项目真正地打包成单文件，解决了因缺少scrapy.cfg而导致的运行错误。通过分析错误，发现是Scrapy无法找到配置文件。通过在运行时设置程序延迟以保留临时文件，并修改Scrapy读取配置文件的路径，成功实现了单文件运行Scrapy爬虫。

摘要由CSDN通过智能技术生成

前置：https://www.cnblogs.com/luocodes/p/11827850.html

解决最后一个问题，如何将scrapy真正的打包成单文件

耗了一晚上时间，今天突然有灵感了

错误分析

不将scrapy.cfg文件与可执行文件放一起，那么就会报错---爬虫没有找到

报错的原因

1.scrapy.cfg文件放入不进可执行文件中

2.scrapy目录读取不到scrapy.cfg文件

问题1

pyinstaller是将可执行文件解压到系统的临时文件中，在进行运行的

所以我们只需要在可执行文件中找到它的目录就能了解我们打包的文件中到底包含了什么

这里还有一个问题，每当可执行文件运行完毕后，它产生的temp文件将会被删除，所以我们在start.py中需要设置一下程序的延迟

这样一来程序不退出，临时文件也随之保留了下来，方便我们查看

# -*- coding: utf-8 -*-
from scrapy.cmdline import execute
from scrapy.utils.python import garbage_collect
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

# import robotparser
import os
import sys
import time
import scrapy.spiderloader
import scrapy.statscollectors
import scrapy.logformatter
import scrapy.dupefilters
import scrapy.squeues
 
import scrapy.extensions.spiderstate
import scrapy.