社交数据抓取系统

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/nghuyong/article/details/80389636

系统简介

根据关键词对主流舆情网站进行数据抓取.

网站包括:weibo,facebook,twitter,YouTube

用途

当然是对这些主流网站做舆情监控和分析啊!!!

比如你想了解工商银行的服务态度,直接去抓取提到了工商银行的微博语料(文本,图片,视频),然后基于这些语料做情感分析即可.

在线体验

演示视频

抓取要求

weibo/facebook/twitter

  1. 根据关键词抓取含有该关键词的微博数据

  2. 根据上述微博筛选出一批种子用户

  3. 抓取种子用户的微博数据/粉丝数据

  4. 每个种子用户根据社交关系(粉丝)向外扩M层,得到的用户进行爬取(用户信息、社交关系、帖子内容)

YouTube

  1. 抓取指定用户上传的视频数据

web界面

  1. 提供关键词入口

  2. 每个关键词爬虫状态

  3. 爬虫数据展示

  4. 高级可视化,词云/数据统计等(TODO)

截图

联系我:nghuyong@163.com

阅读更多

扫码向博主提问

千叶正志

非学,无以致疑;非问,无以广识
去开通我的Chat快问

没有更多推荐了,返回首页