scrapy项目在Linux服务器上的部署

scrapy项目在Linux服务器上部署时，如果不想采用scrapyd(官方文档)的方式。启动命令如果使用scrapy crawl {spider}，执行一次就会停止，如果使用死循环的cmdline方式也是执行一次就停止。

最后在网上看到使用subprocess.Popen()方法，这个方法可以保证能够循环执行。

但是，如果需要在liunx服务器上跑的话，还是需要加上shell=True这个参数。不然，它会报找不到这个命令。

下面是我的scrapy项目的start.py文件的改动，不想使用scrapyd部署的可以看一下，如果有问题或者有好的办法，希望能与我沟通，共同学习。

import subprocess
import time
import os


CYCLE_TIME = 30

spiders = ['spider1', 'spider2', 'spider3', 'spider4']

cmd = 'scrapy crawl {}'
i = 0
while True:
    for s in spiders:
        subprocess.Popen(cmd.format(s), shell=True if os.name == 'posix' else False)
    i += 1
    print("第{}轮执行".format(i))
    time.sleep(CYCLE_TIME)

# os.name 在windows上是nt, linux上是posix
# 启动命令可以采用nohup python -u start.py &