曙光大数据课程设计----基于Spark和MapReduce实现TopN

题目：基于分布式计算框架实现TopN

主要内容：
1、 获取蜀国武将中武力值最高的5位，即通过分布式计算框架实现从原始数据查询出武力最高的Top5。

2、 原始数据如下：
序号 姓名 武力值 国家
1 刘备 68 蜀国
2 马超 90 蜀国
3 黄忠 91 蜀国
4 魏延 76 蜀国
5 姜维 92 蜀国
6 关羽 96 蜀国
7 严颜 78 蜀国
8 孟达 64 蜀国
9 张飞 88 蜀国
10 马谡 76 蜀国
11 赵云 95 蜀国
12 法正 88 蜀国

3、 预期结果如下： 6 关羽 96 蜀国 11 赵云 95 蜀国 5 姜维 92 蜀国 3 黄忠 91 蜀国 2 马超 90 蜀国

设计要求
1、 要求分别通过MapReduce、Spark实现该任务，提供可运行的代码实现。
2、 要求在设计报告中写出实现的思路。
3、 要求将原始数据上传到HDFS，程序从HDFS上获取原始数据，并将结果写到HDFS上。报告中需明确列出上传文件、查看结果文件用到的HDFS命令。
4、 要求将每条数据包装到自定义对象中，不允许直接传输字符串。

实验步骤：
一、基于Spark实现TopN

思路：先从HDFS中读取数据，按照自定义函数导入Spark并保存到内存中，使用map算子和该函数返回新的RDD，再利用collect()返回包含此RDD中所有元素的列表。sortBy()按武力值排序后，使用take()算子取RDD的前5个元素

具体步骤：
1.打开jupyter notebook，启动hadoop


2.在桌面新建rank文件

3.将rank文件上传至HDFS下input目录中
具体操作可https://blog.csdn.net/weixin_43588190/article/details/105721454



4.jupyter中新建python3程序

5.spark计算
第一种方式：




保存到HDFS中

shell中查看

第二种方式：


二、基于MapReduce实现TopN

思路：

Mapper，因为Block中的每一个split都会交由一个Mapper Task来进行处理，对于TopN问题，可以考虑每一个Mapper Task的输出可以为这个split中的前N个值，最后每个数据到达Reducer的时候，就可以大大减少原来需要比较的数据量，因为在Reducer处理之前Map Task已经帮我们把的数据量大大减少了，比如，在MapReduce中，默认情况下一个Block就为一个split，当然这个是可以设置的。而一个Block为128M，显然128M能够存储的文本文件也是相当多的，假设现在我的数据有10个Block，即1280MB的数据，如果要求Top5的问题，此时，这些数据需要10个Mapper Task来进行处理，那么在每个Mapper Task中先求出前5个数，最后这5个数再交由Reducer来进行处理。也就是说，在我们的这个案例中，Reducer需要处理排序的数有50个，显然经过Map处理之后，Reducer的压力就大大减少了。那么如何实现每个Mapper Task中都只输出5个数呢？这时可以使用一个set来缓存数据，从而达到先缓存5个数的目的

Reducer，将Mapper Task输出的数据排序后再输出

一些问题：
向conf中传入参数，在MapReduce中，因为计算是分散到每个节点上进行的，也就是将我们的Maper和Reducer也是分散到每个节点进行的，所以不能在TopNJob中设置一个全局变量来对N进行设置（虽然在本地运行时是没有问题的，但在集群运行时会有问题）。因此MapReduce提供了在Configuration对象中设置参数的方法，通过在Configuration对象中设置某些参数，可以保证每个节点的Mapper和Reducer都能够读取到N