spark练习2

疏影横斜

于 2024-07-11 16:31:56 发布

阅读量154

点赞数 8

文章标签： spark hbase hive

本文链接：https://blog.csdn.net/2302_77073920/article/details/140348384

版权

请在 HDFS 中创建目录/app/data/exam，并将 countrydata.csv 传到该目录。

统计每个国家在数据截止统计时的累计确诊人数。（9 分）

    val fileRdd = sc.textFile("hdfs://192.168.226.131:9000" +
          "/exam/exam3/countrydata.csv")

        //写法 1
    fileRdd.map(x=>x.split(","))
      .map(x=>(x(4),x(1).toInt))
      .reduceByKey((x,y)=>if( x>y) x else y  )
      .foreach(println)


       //写法2
            fileRdd.map(x=>x.split(","))
      .map(x=>(x(4),x(1).toInt))
      .reduceByKey((x,y)=>Math.max(x,y))
          .foreach(println)


        //写法3
            fi