1.安装
pip install scrapyd == 1.3.0
安装scrapyd--deploy
pip install scrapyd-client == 1.2.2
接着在终端输入:scrapyd 开启服务,并在浏览器输入:127.0.0.1:6800
部署项目在当前目录下会生成三个文件
web端:
2.安装scrapydweb
pip install scrapydweb == 1.3.0
启动:
终端输入:scrapydweb
第一次启动,在当前目录下会生成
配置文件
(1)界面
版本依赖问题
之前装了好多个版本,版本不兼容导致一大堆报错,我现在的python环境为3.8,目前用的这几个版本没啥问题,其他python版本可以试试。
flask 1.1.4
flask-sqlalchemy 2.4.4
scrapyd 1.3.0
scrapyd-client 1.2.2
scrapydweb 1.3.0
sqlalchemy 1.3.23