Crawlab爬虫管理框架使用(上手)
1、准备
1.1 安装Go环境
官网要求使用 Go1.15+
的 更多 Go
下载
我使用的是 Go1.17.5
,如果你懒得去寻找的话也可以和我使用同一个版本 Go1.17.5 下载完成后直接点点就可以
1.2安装Docker
1.2.1 安装docker(默认推荐docker)
Windows 和 Mac 的用户可以下载 Docker Desktop 来完成 Docker 安装。
1.2.2 下载镜像
crawlab开发者已经在DockerHub上构建了Crawlab镜像,只需要将其 pull 下来使用。
Docker国内加速器:
{
"registry-mirrors": ["https://registry.docker-cn.com"]
}
下载命令:(在这不建议使用。你问我为啥,因为我菜暂时没有能直接使用拉取下来的项目)
docker pull tikazyq/crawlab:latest
1.2.3 安装 Docker-Compose
docker-compose是一个集群管理方式,可以让我们更方便的管理crawlab
安装 docker-compose
其实比较简单,在安装了 pip
的情况下(Python 3),执行以下命令。
pip install docker-compose
安装好后可以执行 docker-compose ps
来查看docker集群运行状况 如下:
Name Command State Ports
------------------------------
--------------------------------
这是没有 Docker