本发明涉及微博数据采集技术领域,特别是一种基于网络爬虫和新浪API 相结合的微博数据的采集方法。
背景技术:
对于微博中数据采集非常重要,这样也能为开展微博中社会安全 事件的侦测提供重要的数据基础。目前,微博的数据采集方式主要有 两种:基于新浪API和针对新浪微博平台的网络爬虫。基于新浪API 的方案可以获取格式比较规范的数据,但是其调用次数有一定的限制, 无法进行大规模的数据爬取,并且有些信息无法获取到;基于网络爬 虫的方法虽然可以获取大规模的数据,但是其页面的分析处理过程比 较复杂,并且其爬取的数据格式不规范,噪声数据比较多。
技术实现要素:
本发明的目的是要解决现有技术中存在的不足,提供一种基于网络爬虫和 新浪API相结合的微博数据的采集方法。
为达到上述目的,本发明是按照以下技术方案实施的:
一种基于网络爬虫和新浪API相结合的微博数据的采集方法,包括以下步 骤:
Step1:基于新浪API从微博名人榜获取种子用户及其对应的粉丝用户和关 注用户,加入到种子列表;
Step2:将种子列表转换为种子URL,并判断种子用户列表是否为空,若为 空则进入Step4,否则进入Step3;
Step3:遍历种子列表,采用网络爬虫的方法,爬取种子用户的相关微博信 息、微博评论信息和用户个人信息,并将微博评论用户加入到种子列表中;
Step4:结束。
具体地,所述Ste