打造轻量级可视化数据爬取工具-菩提

作者：jiaqiangwang，腾讯 IEG 后台开发工程师

背景

在大数据及机器学习日益火爆的今天，数据作为基石发挥了至关重要的作用。网页内容爬取作为数据的一个重要补充来源，数据爬取开发成了一个必不可少的工作。

在业界，普遍的做法是采用 scrapy 等框架不断进行 case by case 的爬取代码编写，这种做法在需求量逐渐增大后会出现大量重复工作、大量针对某个网站或需求开发的特殊逻辑等，导致技术不能持续积累沉淀、开发耗时长、维护压力越来越大。

我们在调研了业界最新动态后，决定开发一款轻量级的可视化定向数据爬取工具来解决上述问题。我们将它命名 bodhi，中文名：菩提，寓意在“菩提本无数(据)”。

本文只是提供一种思路、一种工具，使用者自身需要合规使用。

同类工具一览

在数据爬取领域，可供选择的工具非常多，比如以 scrapy 为代表的开源工具包、以 portia、八爪鱼为代表的可视化数据爬取工具；

下面我们从是否需要使用者有技术背景、是否支持动态网页、是否免费、是否开源、是否能够灵活支持需求、是否轻量级应用几个方面对上面列举的工具进行对比。