记录一次完整的爬虫管理调度平台--crawlab生产环境部署

最新推荐文章于 2024-05-29 11:55:49 发布
最新推荐文章于 2024-05-29 11:55:49 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： 爬虫相关 文章标签： python 爬虫 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/honey1129/article/details/116256308
版权

前言

如果业务规模比较小，我们写的爬虫脚本可以依赖人工的方式直接在本地单机运行。但是当业务量比较大，且需要爬虫任务自动的按时完成，有成千上万的爬虫任务需要管理时，就需要依赖爬虫管理调度平台来管理爬虫任务。

目前公司的生产环境就是部署的spiderkeeper来管理爬虫任务，spiderkeeper的主要缺点是当任务量多时就会出现不能按时执行任务的情况，并且很容易出现调度任务阻塞的情况。为了不再每天半夜起床手动的执行解决阻塞的爬虫任务，替换掉spiderkeeper迫在眉睫。

目前主要的爬虫管理平台的比较（引自crawlab，github）

FrameworkTechnologyProsCons
CrawlabGolang + VueNot limited to Scrapy, available for all programming languages and frameworks. Beautiful UI interface. Naturally support distributed spiders. Support spider management, task management, cron job, result export, analytics, notifications, configurable spiders, online code editor, etc.Not yet support spider versioning
ScrapydWebPython Flask + VueBeautiful UI interface, built-in Scrapy log parser, stats and graphs for task execution, support node management, cron job, mail notification, mobile. Full-feature spider management platform.Not support spiders other than Scrapy. Limited performance because of Python Flask backend.
GerapyPython Django + VueGerapy is built by web crawler guru Germey Cui. Simple installation and deployment. Beautiful UI interface. Support node management, code edit, configurable crawl rules, etc.Again not support spiders other than Scrapy. A lot of bugs based on user feedback in v1.0. Look forward to improvement in v2.0
SpiderKeeperPython FlaskOpen-source Scrapyhub. Concise and simple UI interface. Support cron job.Perhaps too simplified, not support pagination, not support node management, not support spiders other than Scrapy.

准备

相关环境

docker---V20.10.5

rancher--V1.6

centos--v7.5(六台线上机器)

由于crawlab镜像内的python版本是3.8的，而我们的开发环境是3.6,版本不一致，导致一些项目的依赖项冲突无法安装，所以需要更改crawlab镜像内的python版本。

  • 拉取crawlab源代码
qzxqbdeMacBook-Pro:~ qzxqb$ mkdir crawlab-dev
qzxqbdeMacBook-Pro:~ qzxqb$ cd crawlab-dev/
qzxqbdeMacBook-Pro:crawlab-dev qzxqb$ git clone git@github.com:crawlab-team/crawlab.git
Cloning into 'crawlab'...
remote: Enumerating objects: 16817, done.
remote: Counting objects: 100% (64/64), done.
remote: Compressing objects: 100% (40/40), done.
remote: Total 16817 (delta 27), reused 48 (delta 23), pack-reused 16753
Receiving objects: 100% (16817/16817), 20.43 MiB | 4.58 MiB/s, done.
Resolving deltas: 100% (10339/10339), done.
qzxqbdeMacBook-Pro:crawlab-dev qzxqb$
  • 更改crawlab的dockerfile
FROM golang:latest AS backend-build

WORKDIR /go/src/app
COPY ./backend .

ENV GO111MODULE on
ENV GOPROXY https://goproxy.io

RUN go install -v ./...

FROM node:latest AS frontend-build

ADD ./frontend /app
WORKDIR /app

# install frontend
#RUN npm config set unsafe-perm true
#RUN npm install -g yarn && yarn install

RUN yarn install && yarn run build:prod

# images
FROM ubuntu:latest

# set as non-interactive
ENV DEBIAN_FRONTEND noninteractive

# set CRAWLAB_IS_DOCKER
ENV CRAWLAB_IS_DOCKER Y

# install packages
RUN chmod 777 /tmp \
	&& apt-get update \
	&& apt-get install -y curl git net-tools iputils-ping ntp ntpdate nginx wget dumb-init cloc software-properties-common \
	&& add-apt-repository ppa:deadsnakes/ppa \
	&& apt update \
	&& apt install python3.6 -y \
	&& ln -s /usr/bin/pip3 /usr/local/bin/pip \
	&& ln -s /usr/bin/python3.6 /usr/local/bin/python


# install backend
RUN pip install scrapy pymongo bs4 requests crawlab-sdk scrapy-splash

# add files
COPY ./backend/conf /app/backend/conf
COPY ./backend/data /app/backend/data
COPY ./backend/scripts /app/backend/scripts
COPY ./backend/template /app/backend/template
COPY ./nginx /app/nginx
COPY ./docker_init.sh /app/docker_init.sh

# copy backend files
RUN mkdir -p /opt/bin
COPY --from=backend-build /go/bin/crawlab /opt/bin
RUN cp /opt/bin/crawlab /usr/local/bin/crawlab-server

# copy frontend files
COPY --from=frontend-build /app/dist /app/dist

# copy nginx config files
COPY ./nginx/crawlab.conf /etc/nginx/conf.d

# working directory
WORKDIR /app/backend

# timezone environment
ENV TZ Asia/Shanghai

# language environment
ENV LC_ALL C.UTF-8
ENV LANG C.UTF-8

# frontend port
EXPOSE 8080

# backend port
EXPOSE 8000

# start backend
CMD ["/bin/bash", "/app/docker_init.sh"]
  • 本地构建镜像
[root@q3 crawlab]# git pull
Already up-to-date.
[root@q3 crawlab]# docker build -f Dockerfile -t 172.16.5.3:9443/crawlab:0.0.5 .
Sending build context to Docker daemon  4.114MB
Step 1/33 : FROM golang:latest AS backend-build
 ---> d5dc529b0ee7
Step 2/33 : WORKDIR /go/src/app
 ---> Using cache
 ---> 8fe2c89e54b2
Step 3/33 : COPY ./backend .
 ---> Using cache
 ---> a33c69edcd1d
Step 4/33 : ENV GO111MODULE on
 ---> Using cache
 ---> 4f7051d24941
Step 5/33 : ENV GOPROXY https://goproxy.io
 ---> Using cache
 ---> 26e8a4182851
Step 6/33 : RUN go install -v ./...
 ---> Using cache
 ---> 0195fd4a9abf
Step 7/33 : FROM node:latest AS frontend-build
 ---> d2850632b602
Step 8/33 : ADD ./frontend /app
 ---> Using cache
 ---> c2c6ae08093f
Step 9/33 : WORKDIR /app
 ---> Using cache
 ---> dfcb1f88e0d9
Step 10/33 : RUN yarn install && yarn run build:prod
 ---> Using cache
 ---> 367f5be0fa54
Step 11/33 : FROM ubuntu:latest
 ---> 26b77e58432b
Step 12/33 : ENV DEBIAN_FRONTEND noninteractive
 ---> Using cache
 ---> ee6ceef0ca40
Step 13/33 : ENV CRAWLAB_IS_DOCKER Y
 ---> Using cache
 ---> f157499cdaf9
Step 14/33 : RUN chmod 777 /tmp 	&& apt-get update 	&& apt-get install -y curl git net-tools iputils-ping ntp ntpdate nginx wget dumb-init cloc software-properties-common 	&& add-apt-repository ppa:deadsnakes/ppa 	&& apt update 	&& apt install python3.6 -y 	&& apt-get install  -y python3-pip 	&& ln -s /usr/bin/pip3 /usr/local/bin/pip 	&& ln -s /usr/bin/python3.6 /usr/local/bin/python
 ---> Using cache
 ---> efe0aa203727
Step 15/33 : RUN pip install scrapy pymongo bs4 requests crawlab-sdk scrapy-splash
 ---> Using cache
 ---> 3fb1f60a0583
Step 16/33 : COPY ./backend/conf /app/backend/conf
 ---> Using cache
 ---> 7f197f9ae3c2
Step 17/33 : COPY ./backend/data /app/backend/data
 ---> Using cache
 ---> 1729928a3757
Step 18/33 : COPY ./backend/scripts /app/backend/scripts
 ---> Using cache
 ---> 804267afb368
Step 19/33 : COPY ./backend/template /app/backend/template
 ---> Using cache
 ---> e321fe6b9ed6
Step 20/33 : COPY ./nginx /app/nginx
 ---> Using cache
 ---> 4b8312fdfc8c
Step 21/33 : COPY ./docker_init.sh /app/docker_init.sh
 ---> Using cache
 ---> c3f2b9e5b6ae
Step 22/33 : RUN mkdir -p /opt/bin
 ---> Using cache
 ---> f0e6aed3e853
Step 23/33 : COPY --from=backend-build /go/bin/crawlab /opt/bin
 ---> Using cache
 ---> d9bac6e1dde0
Step 24/33 : RUN cp /opt/bin/crawlab /usr/local/bin/crawlab-server
 ---> Using cache
 ---> 08e9ab14ec2d
Step 25/33 : COPY --from=frontend-build /app/dist /app/dist
 ---> Using cache
 ---> 612b14dcb3cc
Step 26/33 : COPY ./nginx/crawlab.conf /etc/nginx/conf.d
 ---> Using cache
 ---> 011ce6e404ca
Step 27/33 : WORKDIR /app/backend
 ---> Using cache
 ---> 113d7da234d8
Step 28/33 : ENV TZ Asia/Shanghai
 ---> Using cache
 ---> b20825d59a9e
Step 29/33 : ENV LC_ALL C.UTF-8
 ---> Using cache
 ---> 474ef571d1ca
Step 30/33 : ENV LANG C.UTF-8
 ---> Using cache
 ---> 1900f0a897c3
Step 31/33 : EXPOSE 8080
 ---> Using cache
 ---> 59f7b4a5fc4d
Step 32/33 : EXPOSE 8000
 ---> Using cache
 ---> 3ac0679cf524
Step 33/33 : CMD ["/bin/bash", "/app/docker_init.sh"]
 ---> Using cache
 ---> 05c886bd310f
Successfully built 05c886bd310f
Successfully tagged 172.16.5.3:9443/crawlab:0.0.5
  • 上传到私有镜像仓库
[root@q3 crawlab]# docker push 172.16.5.3:9443/crawlab:0.0.5
The push refers to repository [172.16.5.3:9443/crawlab]
7bdb99ab55de: Layer already exists
b6d882c09c38: Layer already exists
60e763dd93e1: Layer already exists
ffcac982fd08: Layer already exists
7c184307f92f: Layer already exists
24d9956dd633: Layer already exists
e524f1f19abf: Layer already exists
8a7cb040f5f9: Layer already exists
0efdd438158d: Layer already exists
92dbdae35638: Layer already exists
6a975a1793dd: Layer already exists
6460401a902d: Layer already exists
adebce06afa0: Layer already exists
346be19f13b0: Layer already exists
935f303ebf75: Layer already exists
0e64bafdc7ee: Layer already exists
0.0.5: digest: sha256:49da0419217365b442717852c97e0fde1846ae9c43a498905eb4bca6341f67cd size: 3664

安装部署

  • 主节点安装

  • 在rancher中添加应用crawlab并添加服务
  • 暴露端口号8080
  • 添加redis和mongo的服务链接
  • 添加环境变量

  • 添加卷，为了持久化日志

  • 选择调度服务器

工作节点安装

工作节点安装只需将环境变量中的CRAWLAB_SERVER_MASTER设置为N就可以了。

至此一台主节点和5台工作节点安装完成。

迁移任务

---未完待续

 

honey1129
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
爬虫部署平台crawlab使用说明
自成背后的博客
04-02 2300
crawlab 使用简介
一款开源的分布式爬虫管理平台，支持多种语言和框架
Java笔记虾
10-31 988
Crawlab是一款基于 Golang 的分布式爬虫管理平台，支持 Python、NodeJS、Go、Java、PHP 等多种编程语言以及多种爬虫框架。1谁适合使用 Crawlab?网路爬虫工程师： 通过集成爬虫程序到 Crawlab，网路爬虫工程师可以聚焦于爬虫的核心解析逻辑，从而避免浪费过多时间在开发通用模块上，例如任务队列、存储、日志、消息通知等。运维工程师： Crawlab 对于运维工程师...
一款开源、强悍的分布式爬虫管理平台
最新发布
weixin_44421461的博客
05-29 438
????这是一个或许对你有用的社群????一对一交流/面试小册/简历优化/求职解惑，欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料：《项目实战（视频）》：从书中学，往事中“练”《互联网高频面试题》：面朝简历学习，春暖花开《架构 x 系统设计》：摧枯拉朽，掌控面试高频场景题《精进 Java 学习指南》：系统学习，互联网主流技术栈《必读 Java 源码专栏》：知其然，知其所以然????这是一个或许...
用Python Django 快速撸一个 爬虫管理后台
wangnan229的博客
06-02 650
基于Django的admin后台，将之前写的一个爬虫集成到项目当中，爬虫抓取公司信息，存表，web端展示与调度管理，使用账号登陆认证。如果只是完成数据web展示跟调度的话，前端我觉着完全可以不写，只用admin（太懒了是吧，实际原因是前端是目前知识盲区而已~~）组件：Python3.10 + Django + Celery。
搭建Crawlab爬虫管理平台
weixin_40303822的博客
04-01 5438
一，安装vm ,centos系统 (测试步骤，正式搭建可以跳过) 1，在win10上，安装vm，centos8.5系统 vm下载（试用版本）：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html centos8.5系统： CentOS Mirrors List 2，下载完成之后打开虚拟机 3，点击创建新的虚拟机，然后按照提示,点击自定义安装 4，具体调整参照：(59条消息) 在windows上安
基于Gerapy部署分布式爬虫管理平台
自成背后的博客
07-19 2181
基于Scrapyd 、Gerapy部署分布式爬虫管理平台
linux部署crawlab爬虫管理器
weixin_53894115的博客
07-10 652
前言：crawlab是国内较为好用的爬虫管理系统，擅长批量管理爬虫代码，轻量级的小爬虫可以使用此系统做定时任务管理。目前处于一个全新的linux系统，各个依赖并未安装，此处只说明crawlab所需依赖安装步骤。首先检查系统是否适配docker，低版本可能会有问题，此处以CentOS 7为例。)可能有些简洁，此处详细介绍crawlab的部署流程。linux系统：CentOS 7及更高。1、创建git秘钥拉取版本库。
Ubuntu系统虚拟机搭建Crawlab分布式爬虫管理平台
weixin_43739282的博客
12-29 1664
本地虚拟机搭建Crawlab分布式爬虫管理平台 文章目录本地虚拟机搭建Crawlab分布式爬虫管理平台前言一、链接地址二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、链接地址 github地址：https://github.com/crawlab-team/crawlab 中文文档地址：http
Crawlab分布式爬虫管理平台-其他
06-12
Crawlab是一个基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。 Crawlab架构： Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），...
crawlab - 基于Golang的分布式爬虫管理平台.zip
07-18
Crawlab是一个强大的开源项目，它提供了一个基于Golang构建的分布式爬虫管理平台。这个平台旨在简化网络爬虫的开发、部署和监控过程，使得数据采集任务可以在多台机器上分布式执行，大大提升了爬虫的效率和稳定性。...
Python-Crawlab基于Celery的爬虫分布式爬虫管理平台支持多种编程语言以及多种爬虫框架
08-10
**Python-Crawlab分布式爬虫管理平台** Crawlab是一个高效、灵活的爬虫管理平台，它利用Celery作为其核心的分布式任务调度系统，旨在为数据采集提供一个集中的控制台，支持多种编程语言和多种爬虫框架，极大地提高...
校车调度-校车调度系统-校车调度系统源码-校车调度管理系统-基于springboot的校车调度系统-校车调度管理系统java代码
02-17
校车调度-校车调度系统-校车调度系统源码-校车调度管理系统-校车调度管理系统java代码-校车调度系统设计与实现-基于springboot的校车调度系统-基于Web的校车调度系统设计与实现-校车调度网站-校车调度网站代码-校车...
tikazyq-crawlab-master_爬虫_python_crawlab_
10-04
【标题】"tikazyq-crawlab-master_爬虫_python_crawlab_" 指的是一个基于Python的爬虫项目，使用了Crawlab框架。Crawlab是一款开源的爬虫管理平台，专为数据采集和分布式爬虫设计，支持多节点部署，能帮助用户轻松...
Python 实战：用 Scrapyd 打造个人化的爬虫部署管理控制台
sybh的博客
08-20 555
拒绝裸奔，为你的 Scrapyd 增添权限验证、自定义 API、开发数据统计和美化界面的功能，带你逐步实现「唯你可用」的爬虫部署管理控制台。
Python3网络爬虫基础实战
08-22
本课程适合具备Python基础的志士进行爬虫入门！这里有大量的常见网站爬行案例；这里有系统、明了的知识体系；后面还有一个小挑战！
爬虫框架对比（附 支持的数据库）
西山枫叶
08-20 516
爬虫框架对比 构架 技术 优点 缺点 Github统计 Crawlab Golang + Vue 不限于Scrapy，可用于所有编程语言和框架。漂亮的UI界面。自然支持分布式蜘蛛。支持蜘蛛管理，任务管理，计划任务，结果导出，分析，通知，可配置蜘蛛，在线代码编辑器等。 尚不支持蜘蛛版本控制 Star:6.8k ScrapydWeb Python Flask + Vue 漂亮的UI界面，内置的Scrapy日志解析器，用于执行任务的统计信息和图形，支持节点管理，cron作业，邮
爬虫那些事儿－任务调度系统设计
pop_xiaohao的专栏
07-31 7231
前言        对于一家资讯媒体公司而言，爬虫可以说是第一道，也是最重要的补给线与产品线。爬虫聚焦于开发与维护各类网络信息抓取工具，通过获取到数量大、质量高的数据，为运营、算法、大数据等各个部门提供数据支持，保证公司的业务良好运行，而调度则是许多抓取程序中比较重要的一环。 一 、任务调度系统设计的重要性     分布式系统中比如Hadoop、MapReduce编程模型、还有其它大数据
爬虫系统 Crawlab 搭建
weixin_44848436的博客
05-03 539
保证您已经安装好 Docker，并能够拉取 Crawlab 和 MongoDB 的镜像。
大数据调度平台分类大对比(Oozie/Azkaban/AirFlow/XXL-Job/DolphinScheduler)
微信搜：import_bigdata，大数据领域硬核原创作者
03-14 5657
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文交给我，你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。大数据调度系统，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值