spark案例：给定一组键值对("spark",2),("hadoop",6),("hadoop",4),("spark",6)，键值对的key表示图书名称，value表示某天图书销量

最新推荐文章于 2022-08-24 21:57:05 发布

super选择题

最新推荐文章于 2022-08-24 21:57:05 发布

阅读量3.3k

点赞数 1

分类专栏： spark 文章标签： spark案例

本文链接：https://blog.csdn.net/superXZT/article/details/84977555

版权

该博客通过一个具体的Spark案例，展示了如何处理一组键值对数据，其中键表示图书名称，值表示图书销量。内容涉及使用Spark代码计算每种图书的每天平均销量，最终得出结果为：spark图书平均销量为4，hadoop图书平均销量为5。

摘要由CSDN通过智能技术生成

案例：给定一组键值对("spark",2),("hadoop",6),("hadoop",4),("spark",6)，键值对的key
表示图书名称，value表示某天图书销量，请计算每个键对应的平均值，也就是计算每种图书的每天平均销量。

spark代码：

import org.apache.spark.{SparkConf, SparkContext}

object tushu {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("paixu").setMaster("local")
    val sc = new SparkContext(conf)
    val book = Array(("spark",2),("hadoop",6),("hadoop",4),("spark",6))
    val rdd = sc.parallelize(book)
    val result = rdd.mapValues(x=>(x,1)).reduceByKey((x,y)=>(x._1+y._1,x._2+y._2)).
      mapValues(x=>(x._1/x._2)).collect().toList

    println(result)
  }
}

//解释：

//1.var