使用scrapyd部署scrapy_redis爬虫

一.安装scrapyd，scrapyd_client

pip install scrapy
pip install scrapyd_client

二.配置scrapy项目

找到项目下的scrapy.cfg

[deploy:myspider]
url = http://localhost:6800/
project = webFont

在settings中加入

import  sys
import os
BASE_DIR = sys.path.append(os.path.dirname(os.path.abspath(__file__)))
sys.path.insert(0,os.path.join(BASE_DIR, "项目名"))

如果你使用Windows部署你需要打开你的虚拟环境Scripts目录
找到scrapyd-deploy文件，相同路径下新建一个scrapyd-deploy.bat文件
写入
第一个路径是Python.exe的路径，第二个路径是scrapy-deploy路径

@echo off

"C:\Users\ghostdot\AppData\Local\Programs\Python\Python38\python.exe" "C:\Users\ghostdot\AppData\Local\Programs\Python\Python38\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

三.部署

进入爬虫所在路径，执行

scrapyd-deploy -l

确保scrapy list命令好使

sapyd-deploy myspider -p myproject