crawlab爬虫

安装
方式:

Docker（推荐）
直接部署（了解内核）
要求（Docker）
Docker 18.03+
Redis
MongoDB 3.6+
要求（直接部署）
Go 1.12+
Node 8.12+
Redis
MongoDB 3.6+
运行
Docker
运行主节点示例。192.168.99.1是在Docker Machine网络中的宿主机IP地址。192.168.99.100是Docker主节点的IP地址。

docker run -d --rm --name crawlab
-e CRAWLAB_REDIS_ADDRESS=192.168.99.1
-e CRAWLAB_MONGO_HOST=192.168.99.1
-e CRAWLAB_SERVER_MASTER=Y
-e CRAWLAB_API_ADDRESS=192.168.99.100:8000
-e CRAWLAB_SPIDER_PATH=/app/spiders
-p 8080:8080
-p 8000:8000
-v /var/logs/crawlab:/var/logs/crawlab
tikazyq/crawlab:0.3.0
当然也可以用docker-compose来一键启动，甚至不用配置MongoDB和Redis数据库，当然我们推荐这样做。在当前目录中创建docker-compose.yml文件，输入以下内容。

version: ‘3.3’
services:
master:
image: tikazyq/crawlab:latest
container_name: master
environment:
CRAWLAB_API_ADDRESS: “localhost:8000”
CRAWLAB_SERVER_MASTER: “Y”
CRAWLAB_MONGO_HOST: “mongo”
CRAWLAB_REDIS_ADDRESS: “redis”
ports:
- “8080:8080” # frontend
- “8000:8000” # backend
depends_on:
- mongo
- redis
mongo:
image: mongo:latest
restart: always
ports:
- “27017:27017”
redis:
image: redis:latest
restart: always
ports:
- “6379:6379”
然后执行以下命令，Crawlab主节点＋M