Scala Spark 求众数

最新推荐文章于 2021-10-25 00:04:33 发布

power0405hf

最新推荐文章于 2021-10-25 00:04:33 发布

阅读量4.7k

点赞数

分类专栏： scala spark 文章标签： scala spark

本文链接：https://blog.csdn.net/power0405hf/article/details/50301257

版权

本文介绍了如何利用Scala和Spark处理数据，详细讲解了数据格式和实现计算众数的程序流程。

摘要由CSDN通过智能技术生成

1.数据格式

1   2   3
1   4   5
4   5   6
4   7   8
7   8   9
10  11  12
10  13  14
10  1   2
1   100 100
10  11  2
10  11  2
1   2   5
4   7   6

2.程序

val conf = new SparkConf().setAppName("Mode")
conf.setMaster("local[3]")
val sc.new SparkContext(conf)

val data = sc.textFile("/home/i.txt")  //读入测试数据
val dataMap = data.map(_.split("\t"))
.map(f=>f.map(f=>f.toDouble))
.map(f=>("k"+f(0),f(1)))
//dataMap: RDD[(String,