如何通过MapReduce来统计twitter高频词汇

最新推荐文章于 2022-10-11 15:05:58 发布

he_wolf

最新推荐文章于 2022-10-11 15:05:58 发布

阅读量1.6k

点赞数 1

分类专栏：云计算大数据

本文链接：https://blog.csdn.net/he_wolf/article/details/22973137

版权

本文介绍了如何借助MapReduce处理大规模Twitter数据，统计出高频的Hashtag。通过Cassandra存储的tweet数据，利用MapReduce进行数据处理，包括识别Hashtag、计数和排序，最终找出出现次数最多的Hashtag。

摘要由CSDN通过智能技术生成

正如同微博中的#标记一样，twitter中有很多#hashtag，那么出现次数越多的hashtag的内容自然也正是人们大量讨论的话题了。

而所需处理的twitter数据庞大，并且不断高速增加，自然不能以一般的方法进行分析计算。因为考虑采用hadoop。

首先需应用mapreduce分解该计算方法使得能用大量node同时独立计算。twitter采用Cassandra存储数据，格式类似hashtable，为“key-value”。

由于每条推特和每条微博一样，限定字数140。因此可以设置每条推特都是单独的一行string。

找到top trend热门的hashtag的步骤即：

1.处理输入的tweets entry，找出每条推特里的#hashtag

2.数hashtag的数量

3.sort结果找出数量最多的hashtag

Mapper:

将每条输入string中得hashtag找出来。

@Override
public void map(LongWritable key, Text value, Context context) throws IOException, 
   InterruptedException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
         String token = tokenizer.nextToken();
       if(token.startsW