“谁是大V”算法设计 （Map-Reduce TopN）

作业设计与资料 链接: http://pan.baidu.com/s/1o6MJTyi 密码: 628d

一、     作业要求

 

根据关注列表relsample.json文件，设计MapReduce算法得到被关注次数最多的前十人，即寻找谁是大V。

 

二、     算法设计

 

1. 第一个Mapper用于解析json文件：

从relsample.json文件中解析出ids列表的内容，即每个人所关注的人的列表。输出的value为列表中的每一项，k为one。

对应的文件为\src\myMapper\readJsonMapper.java。

1. Reducer根据1的结果统计每个id被关注的次数：

对应的文件为\src\myReducer\readJsonReducer.java。

1. 第二个Mapper对2的结果进行排序，得到topN：

对应的文件为\src\myReducer\ topMapper.java。

 

Ps：排序说明 （jsonTopN和jsonTopN3两个文件夹不同部分的说明）   关于排序用了两种方法来实现。 第一种方法（对应jsonTopN文件夹）：编写一个用于存放结果类型的类（结果包含id和被关注次数两个属性），再编写一个排序算法用于对该类进行排序（根据被关注次数排序）。 对应文件：jsonTopN\src\myCommon \myDataCell.java           jsonTopN\src\myCommon \ mySort.java 第二种方法（对应jsonTopN3文件夹）：使用Arrays.sort()对自己定义的类进行排序。具体实现是首先定义自己的类，该类必须继承自Comparable抽闲接口，因为调用sort排序的对象必须是可以比较的，通过重载Comparable接口的compareTo函数定义自己的比较规则。    对应文件：jsonTopN3\src\myCommon \myDataCell.java

 

 

三、     运行截图

 

1. jsonTopN程序运行截图

 

 

2. jsonTopN3程序运行截图

 

 

转载于:https://www.cnblogs.com/qianqianjun/p/4579384.html