为什么是微博爬虫?
WeiboSpider,顾名思义就是一个微博的爬虫。去年(2012年)年中的刚开始学习python的时候,我同时在看一本关于自然语言识别的书。对自然语言识别有兴趣是因为看了吴军博士的《数学之美》,而且随着数据挖掘、大数据的兴起,自然语言处理在互联网中会有越来越多的应用。
但学习自然语言处理是需要语料的,特别我感兴趣的是统计的识别方法而不是基于规则的识别方法,这就需要大量的语料训练程序,才能达到好的识别效果。虽然搜狗、百度都有把他们研究用的语料库公开出来,但由于语料库过于庞大,网络传输的可能性不大(所以这两家公司都要求想获取语料库的人邮寄一个1T的硬盘给他们)。
所以我最终选择自己写爬虫获取语料。和大公司提供的语料库不一样,我希望抓取的是微博上的内容。尽管微博上的内容“噪声”很多,对程序的训练会造成很大困难。但是微博的内容更符合一般人日常书写的习惯,特别是SNS网络中的书写习惯,并且微博的内容都是公开的,所以最终选择了开发微博的爬虫。
这是一个纯Python的程序
选择Python作为开发语言其实纯粹是个人喜好,因为那段时间刚好初学Python,想找一个