使用Python开发的定向数据采集框架

事实上现在已经有很多非常不错的数据采集工具了，有收费的也有免费的，闻道软件工作室在做第一个与爬虫相关的软件定制开发项目时最先考虑的方案就是使用现成的数据采集工具采集数据，然后再做二次加工。然而事与愿违，我们使用的好几款工具或多或少都有一些不尽人意的地方。要么是配置做得太死没办法扩展数据采集需求，要么是功能做得太强又导致配置相当复杂。为此，我们决定使用python写一个定向数据采集的框架。

使用python的原因有两个，一是因为客户需要的并不是采集工具，而是最终采集来的数据，为此而用其他重量级语言来开发一个定向的数据采集工具成本相对来说有点高，但是python作为一门脚本语言，其开发周期非常短，代码量也很少，很适合这样的场景.第二个原因是python对正则表达式以及http协议的支持很好，无需安装额外的开发库。http的请求API加上正则表达式，这几乎可以满足任何针对Web页面的采集需求。完成客户的软件定制开发任务后我们完善了这个python的简单框架，在此框架的基础上我们可以非常迅速的完成一个定制的Web数据采集需求，并可以很方便的作其它扩展。

对于一个熟悉python的程序员来说，使用python去写一个采集的工具所花的时间可能要比学会使用一个工具更快，这就是python。python学习简单，笔者只花了大概半小时的时间去学习就可以使用python开发自己的工具了，python功能强大，可以以很少的代价得到强大的功能，就像本文描述的定向数据采集框架。所以我认为即使是非程序员也值得尝试去学习这门语言，特别是草根站长、网店店主之类的非技术类互联网从业人士