Spark：wordcount

最新推荐文章于 2024-07-03 15:06:34 发布

从一点一滴做起

最新推荐文章于 2024-07-03 15:06:34 发布

阅读量265

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/qq_39313597/article/details/91489540

版权

Spark 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

object text {
  def main(args: Array[String]): Unit = {
    // 创建sparksession
    val sparkSession = SparkSession.builder().master("local").appName("Word_Count").getOrCreate()

    import sparkSession.implicits._

    /**
      * 保存为csv格式
      */
    sparkSession.sparkContext.textFile("args[0]")
      .flatMap(_.split(","))
      .map((_, 1))
      .reduceByKey(_ + _)
      .toDF()
      .write
      .mode("overwrite")
      .csv("args[1]")

    /**
      * 保存为文本文件
      */
    sparkSession.sparkContext.textFile("args[0]")
      .flatMap(_.split(","))
      .map((_, 1))
      .reduceByKey(_ + _)
      .saveAsTextFile("args[1]")


    sparkSession.stop()
  }
}