简单介绍
- Scrapyd是scrapy官方推荐的用来在服务器上部署scrapy的库
- 官方文档如下:
https://scrapyd.readthedocs.io/en/stable/
好了下面开始正式部署scrapy,
我的系统环境是redhat(Linux发行版之一和centos操作差不多)
部署之前友情提示一句,千万不要用Python3.7版本的,坑贼多,Twisted pillow等等各种包不兼容, 我用的是Python3.6版本的,源码官方下载地址: https://www.python.org/ftp/python/
scrapy 安装失败时 一般需要手动安装twisted: github地址:https://github.com/twisted/twisted/releases
wget https://github.com/twisted/twisted/releases/TwistedXXX.tar.gz
tar -zxvf TwistedXX.tar.gz # XXX 指的你选择的版本
cd TwistedXXX.tar.gz
python setup.py install
安装之前可选 安装虚拟环境,参考我这篇博客 https://blog.csdn.net/wgPython/article/details/80691680
- 一, 安装相关依赖包
# TODO(我用的虚拟环境(如何创建看我前面的博客文章),所以我直接输入pip 或者python都会指向python3)
pip install --upgrade pip # 首先先更新pip
pip install scrapyd
pip install scrapyd-client
- 二 修改配置文件
首先修改scrapy配置文件,进入scrapy项目文件夹,能看到配置文件
scrapy.cfg
修改配置如下
[settings]
default = demo.settings
[deploy:wgPython] # 这边项目名字随便取
url = http://localhost:6800/ # 这个注释打开6800是后面访问端口,如要修改,scrapyd里面的也要记得一起修改
project = demo
接着修改scrapyd配置文件, 文件名为
default_scrapyd.conf
- 说明一下,scrapyd配置文件可能由于不同的安装可能路径不一样
sudo find / -name default_scrapyd.conf # 首先知道这个配置文件路径
vim /your_path/default_scrapyd.conf # vim编辑配置文件
# 下面是编辑配置文件
[scrapyd]
eggs_dir = eggs
logs_dir = logs
items_dir =
jobs_to_keep = 5
dbs_dir = dbs
max_proc = 0
max_proc_per_cpu = 10 #可以不改 这个参数和CPU个数的乘积是爬虫同时运行的最多个数 为了以后方便改成10
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0 # 绑定的IP地址改成0.0.0.0 外网就可以访问
http_port = 6800 # 这边是对应的端口
debug = off
runner = scrapyd.runner
application = scrapyd.app.application
launcher = scrapyd.launcher.Launcher
webroot = scrapyd.website.Root
[services]
schedule.json = scrapyd.webservice.Schedule
cancel.json = scrapyd.webservice.Cancel
addversion.json = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json = scrapyd.webservice.ListSpiders
delproject.json = scrapyd.webservice.DeleteProject
delversion.json = scrapyd.webservice.DeleteVersion
listjobs.json = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus
- 三 测试启动
服务器一定要确定开启6800端口, 可以在运营商的控制面板里面开启
# TODO()首先进入scrapy项目文件夹下查看项目是否能正常启动
scrapy list # 如果有报错缺什么包 可以查看我的之前的博客
# 上一步正常 可以测试scrapyd 是否正常
scrapyd # 测试scrapyd开启 务必保证开启6800端口
# 这一步报错 可以在stackoverflow 上找答案,我之前博客也有相关的答错
这是之前我解决报错的博客
传送门点击这里 https://blog.csdn.net/wgPython/article/details/82805406
上面开启正常可以访问 http://你的服务器IP地址:6800/
OK 到这一部就成功了 一大半,然后可以ctrl + c关掉这个
当然这种方式不是很好,关掉终端,我们scrapyd也GG了, 我们可以后台运行这个scrapyd程序
- Tip:
我们启动了scrapyd项目之后占用了6800端口,再次启动就会报端口被占用,这是我们可以用lsof
这个来查看项目进程(默认没有安装lsof 需自己手动安装)
lsof -i :6800 # 查看占用此端口的进程
kill -9 进程号 # kill此进程
# 后台启动,我们可以使用Linux命令setsid启动,
setsid scrapyd
# 也可以使用 nohup scrapyd &等等放后台运行
# 也可以使用 supervisor 管理后台进程
放后台运行管理进程最好使用 supervisor 最方便稳定的,至于使用方法自己搜索吧,也很简单
- 四, 启动你的项目
# 部署项目, 一个scrapyd可以部署多个scrapy项目
scrapyd-deploy wgPython(部署名) # wgPython是在scrapy配置文件里面设置的部署名称
# 开启你的爬虫
curl http://localhost:6800/schedule.json -d project=demo(项目名字) -d spider=爬虫名称
到此现在就完成了, 然后暂停什么其他的操作可以查看scrapyd 官方文档的教程。
重点
千万不要对公网开放6800端口,在公网裸奔,一定要加白名单访问
千万不要对公网开放6800端口,在公网裸奔,一定要加白名单访问
千万不要对公网开放6800端口,在公网裸奔,一定要加白名单访问
说三遍,如果对外开放别人可能会用scrapyd 调度任务来植入木马
- 顺便说一下还有一个spiderkeeper 可视化的界面,个人感觉那个玩意花里胡哨的的,部署起来很麻烦,我反正是不喜欢,爬虫能抓到数据就行了,检测数据量的变化就可以了。
- scrapyd的简单界面,还行。
- 最后欢迎提问,有空看到我会解答。