本文介绍了作者的首个开源项目WeiboSpider，一个使用Python编写的微博爬虫。旨在获取自然语言处理所需的语料，项目采用广度优先算法进行抓取，利用NoSQL数据库（最初MongoDB，后改为Redis）存储数据。文章讨论了项目架构、模块间交互的低耦合设计，以及选择NoSQL而非关系型数据库的理由。
为什么是微博爬虫？
WeiboSpider，顾名思义就是一个微博的爬虫。去年（2012年）年中的刚开始学习python的时候，我同时在看一本关于自然语言识别的书。对自然语言识别有兴趣是因为看了吴军博士的《数学之美》，而且随着数据挖掘、大数据的兴起，自然语言处理在互联网中会有越来越多的应用。
但学习自然语言处理是需要语料的，特别我感兴趣的是统计的识别方法而不是基于规则的识别方法，这就需要大量的语料训练程序，才能达到好的识别效果。虽然搜狗、百度都有把他们研究用的语料库公开出来，但由于语料库过于庞大，网络传输的可能性不大（所以这两家公司都要求想获取语料库的人邮寄一个1T的硬盘给他们）。
所以我最终选择自己写爬虫获取语料。和大公司提供的语料库不一样，我希望抓取的是微博上的内容。尽管微博上的内容“噪声”很多，对程序的训练会造成很大困难。但是微博的内容更符合一般人日常书写的习惯，特别是SNS网络中的书写习惯，并且微博的内容都是公开的，所以最终选择了开发微博的爬虫。
这是一个纯Python的程序
选择Python作为开发语言其实纯粹是个人喜好，因为那段时间刚好初学Python，想找一个
最低0.47元/天 解锁文章
扫一扫
3391
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
