爬虫管理平台Crawlab v0.4.3发布（界面上点几下就可安装pip或npm依赖）

前言

Crawlab 是一款受人欢迎的分布式通用爬虫管理平台，由 Crawlab 开发组 开发和维护。自去年 3 月份上线以来，Crawlab 因为极其强大的灵活性、简单精美的操作界面以及健壮而稳定稳定的功能表现，不断受到爬虫工程师和开发者的喜爱和好评，如今已经有了近 4k Github 标星和超过 8k Docker 下载。在最近的一次调研中，超过三分之一的参与调查者都表示已经将 Crawlab 应用于了生产环境。

对 Crawlab 还不了解的同学，可以参考以下相关文章或文档：

• Github Repo
• Crawlab 文档
• Crawlab Demo
• 爬虫管理平台Crawlab v0.4.2发布（文件管理）
• 爬虫管理平台Crawlab v0.4.1发布（可配置爬虫）
• 爬虫平台Crawlab核心原理–分布式架构

经过 8 个月的迭代和优化，Crawlab 已经变得更加稳定和易用，不过随之而来的也是用户的建议和反馈，其中一个比较大的痛点是爬虫的依赖安装。简单来说，由于 Crawlab 主要是由 Docker 来安装，基础镜像只有 Python 的一些与爬虫和 Crawlab 相关的库，如果需要安装一些爬虫必要的依赖，例如数据库操作库 pymysql 等等，就必须做一些 hack，例如上传一个安装依赖的特殊爬虫，或者以 Crawlab 镜像为基础，构建出包含需要的依赖的镜像。这两种方式，既不安全，也不方便和直观。

因此，在最新的版本 v0.4.3 中，我们发布了更方便的在界面上安装依赖的功能。下面我们介绍一下这个功能。

依赖安装

依赖安装是经常使用 Crawlab 经常需要的需求，目前的临时解决方案都是通过 hacking 的方式。而现在，我们的最新版本已经有比较成熟的解决方案，也就是在界面上操作安装依赖。在进入细节之前，我们先了解下一般爬虫工程师的主选编程语言。

哪个语言最受欢迎？

在开发依赖安装功能以前，我们首先需要确定哪（几）种语言是爬虫界中比较受欢迎的。我们猜测 Python 是主要的爬虫工程师用的语言，这是因为大红大紫的成熟的 Scrapy 爬虫框架以及 Python 的简单语法和丰富的生态。于是，我们做了一个小小的调查，调查问题为“您主要用什么语言编写爬虫？（多选）”。以下是调查结果。

<

语言	占比