我试图在我的专用服务器上运行我的scraper。我安装了python 3.6.6,创建了一个venv,并从pip安装了一个ran scrapyd。命令scrapyd显示如下:2018-10-24T12:23:56-0700 [-] Loading /usr/local/lib/python3.6/site-packages/scrapyd/txapp.py...
2018-10-24T12:23:57-0700 [-] Scrapyd web console available at http://127.0.0.1:6800/
2018-10-24T12:23:57-0700 [-] Loaded.
2018-10-24T12:23:57-0700 [twisted.scripts._twistd_unix.UnixAppLogger#info] twistd 18.7.0 (/usr/local/bin/python3.6 3.6.6) starting up.
2018-10-24T12:23:57-0700 [twisted.scripts._twistd_unix.UnixAppLogger#info] reactor class: twisted.internet.epollreactor.EPollReactor.
2018-10-24T12:23:57-0700 [-] Site starting on 6800
2018-10-24T12:23:57-0700 [twisted.web.server.Site#info] Starting factory
2018-10-24T12:23:57-0700 [Launcher] Scrapyd 1.2.0 started: max_proc=16, runner='scrapyd.runner'
很酷。现在我有几个问题。在
1-如果这是在我的专用服务器上运行的,这是否意味着scrapydweb控制台位于[serverIP]:6800?或者,至少,它应该在那里吗?因为当命令运行时,它不会出现。找不到该网站。所以,我有点撞到了砖墙。在
2-另一件事是我不想让浏览器或SSH终端打开才能运行scrapyd。我读过的所有文章都建议说,scrapyd没有合适的RPM包,在有人开发出一个RPM包之前,我运气不好,因为我个人不是一个linux专家,我很惊讶我能做到这一点。在
所以我想这是在服务器上作为守护进程运行scrapyd的问题,因为它需要特殊的文件。我可以直接从git安装scrapyd?然而,似乎连git都没有为这个项目工作所需的正确文件。在
如果有人能在正确的轨道上帮助我,指导我或者给我提供一篇有人在6.10上完成了整个过程的文章,那将是非常棒的。在