该发明提出了一种结合网络爬虫和新浪API的微博数据采集方法，解决了现有技术中数据获取规模及格式规范的问题。通过API获取名人榜种子用户，再利用网络爬虫抓取大量数据，包括用户信息、微博评论等，形成的微博数据资源库有助于社会安全事件的侦测。
本发明涉及微博数据采集技术领域，特别是一种基于网络爬虫和新浪API 相结合的微博数据的采集方法。
背景技术：
对于微博中数据采集非常重要，这样也能为开展微博中社会安全 事件的侦测提供重要的数据基础。目前，微博的数据采集方式主要有 两种：基于新浪API和针对新浪微博平台的网络爬虫。基于新浪API 的方案可以获取格式比较规范的数据，但是其调用次数有一定的限制， 无法进行大规模的数据爬取，并且有些信息无法获取到；基于网络爬 虫的方法虽然可以获取大规模的数据，但是其页面的分析处理过程比 较复杂，并且其爬取的数据格式不规范，噪声数据比较多。
技术实现要素：
本发明的目的是要解决现有技术中存在的不足，提供一种基于网络爬虫和 新浪API相结合的微博数据的采集方法。
为达到上述目的，本发明是按照以下技术方案实施的：
一种基于网络爬虫和新浪API相结合的微博数据的采集方法，包括以下步 骤：
Step1：基于新浪API从微博名人榜获取种子用户及其对应的粉丝用户和关 注用户，加入到种子列表；
Step2：将种子列表转换为种子URL，并判断种子用户列表是否为空，若为 空则进入Step4，否则进入Step3；
Step3：遍历种子列表，采用网络爬虫的方法，爬取种子用户的相关微博信 息、微博评论信息和用户个人信息，并将微博评论用户加入到种子列表中；
Step4：结束。
具体地，所述Ste
最低0.47元/天 解锁文章
2592
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
