作业设计与资料 链接: http://pan.baidu.com/s/1o6MJTyi 密码: 628d
一、 作业要求
根据关注列表relsample.json文件,设计MapReduce算法得到被关注次数最多的前十人,即寻找谁是大V。
二、 算法设计
- 第一个Mapper用于解析json文件:
从relsample.json文件中解析出ids列表的内容,即每个人所关注的人的列表。输出的value为列表中的每一项,k为one。
对应的文件为\src\myMapper\readJsonMapper.java。
- Reducer根据1的结果统计每个id被关注的次数:
对应的文件为\src\myReducer\readJsonReducer.java。
- 第二个Mapper对2的结果进行排序,得到topN:
对应的文件为\src\myReducer\ topMapper.java。
Ps:排序说明 (jsonTopN和jsonTopN3两个文件夹不同部分的说明)
关于排序用了两种方法来实现。 第一种方法(对应jsonTopN文件夹):编写一个用于存放结果类型的类(结果包含id和被关注次数两个属性),再编写一个排序算法用于对该类进行排序(根据被关注次数排序)。 对应文件:jsonTopN\src\myCommon \myDataCell.java jsonTopN\src\myCommon \ mySort.java 第二种方法(对应jsonTopN3文件夹):使用Arrays.sort()对自己定义的类进行排序。具体实现是首先定义自己的类,该类必须继承自Comparable抽闲接口,因为调用sort排序的对象必须是可以比较的,通过重载Comparable接口的compareTo函数定义自己的比较规则。 对应文件:jsonTopN3\src\myCommon \myDataCell.java |
三、 运行截图
1. jsonTopN程序运行截图
2. jsonTopN3程序运行截图