crawlab是一个开源且简单好用的爬虫管理平台。在GitHub已收到7.6k的star,官网:https://github.com/crawlab-team/crawlab
。本次尝试部署:使用Docker容器部署方式,简单方便;参数从简,适合小白,先开起来再研究QAQ~
一、需要准备的环境
二、部署步骤
三、写在最后
一、需要准备的环境
- Docker 1.13.1
- Python 3.6
- docker-compose 1.28.5
1、安装Docker
由于使用Centos7系统进行安装,所以系统的yum就能直接安装Docker
yum install -y yum-utils device-mapper-persistent-data lvm2 #安装依赖
yum install docker
systemctl start docker
2、升级Python 3.6
此处先省略,如果有需要以后会专门写一篇文章介绍。
3、安装docker-compose
pip install docker-compose
二、部署步骤
1、拉取crawlab镜像
crawlab镜像有国内源,下载会快一点,需要编辑 /etc/docker/daemon.json
文件
vim /etc/docker/daemon.json
#加入以下内容
{
"registry-mirrors": ["https://registry.docker-cn.com"]
}
需要重启docker服务:
systemctl restart docker
然后将镜像pull下来:
docker pull tikazyq/crawlab:latest
等进度条走完即可。
2、编辑docker-compose.yml文件
docker-compose.yml
文件记录了容器的启动方式,可灵活编辑改文件以达到想要的配置,以下介