Crawlab爬虫管理框架使用教程(上手)

本文是Crawlab爬虫管理框架的上手教程,包括安装Go环境、Docker,以及如何拉取、启动和运行项目。通过Docker-Compose简化管理,讲解了配置环境变量、部署爬虫、打包上传以及设置定时任务的基本步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Crawlab爬虫管理框架使用(上手)

1、准备

1.1 安装Go环境

官网要求使用 Go1.15+更多 Go 下载
我使用的是 Go1.17.5 ,如果你懒得去寻找的话也可以和我使用同一个版本 Go1.17.5 下载完成后直接点点就可以

1.2安装Docker

1.2.1 安装docker(默认推荐docker)

可参考 docker 官方文档 进行安装

Windows 和 Mac 的用户可以下载 Docker Desktop 来完成 Docker 安装。

1.2.2 下载镜像

crawlab开发者已经在DockerHub上构建了Crawlab镜像,只需要将其 pull 下来使用。

Docker国内加速器:

{
  "registry-mirrors": ["https://registry.docker-cn.com"]
}

下载命令:(在这不建议使用。你问我为啥,因为我菜暂时没有能直接使用拉取下来的项目)

docker pull tikazyq/crawlab:latest
1.2.3 安装 Docker-Compose

docker-compose是一个集群管理方式,可以让我们更方便的管理crawlab

安装 docker-compose 其实比较简单,在安装了 pip 的情况下(Python 3),执行以下命令。

pip install docker-compose

安装好后可以执行 docker-compose ps 来查看docker集群运行状况 如下:

Name   Command   State   Ports
------------------------------
--------------------------------

这是没有 Docker

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值