CC00020.spark——|Hadoop&Spark.V08|——|Spark.v08|sparkcore|算子综合案例&wordcount-scala|

yanqi_vip

已于 2022-04-13 17:37:24 修改

阅读量234

点赞数

分类专栏： bigdatav016——spark.v001 文章标签： hadoop java spark 大数据 mapreduce

于 2022-04-12 13:06:00 首次发布

不予转载

本文链接：https://blog.csdn.net/yanqi_vip/article/details/124139247

版权

本文详细介绍了Spark Core中的算子综合应用，以WordCount Scala案例为实例，涵盖了从编译打包到在Spark Standalone模式下运行的全过程，重点探讨了Hadoop与Spark在大数据处理中的协同作用。

摘要由CSDN通过智能技术生成

一、算子综合应用案例：wordCount-scala

### --- WordCount - scala

package cn.yanqi.sparkcore

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object ScalaWordCount {
  def main(args: Array[String]): Unit = {
    // 1、创建SparkContext
    val conf = new SparkConf().setAppName("WordCount")
    val sc = new SparkContext(conf)
    // 设置日志的显示级别：WARN为空
    sc.setLogLevel("WARN")

    // 2、读本地文件(集群运行：输入参数)
    val lines: RDD[String] = sc.textFile(args(0))

    // 3、RDD转换
    val words: RDD[String] = lines.flatMap(line => line.split("\\s+"))
    val wordsMap: RDD[(String, Int)] = words.map(x => (x, 1))
    val result: RDD[(String, Int)] = wordsMap.reduceByKey(_ + _)

    // 4、输出
    result.foreach(println)

    // 5、关闭SparkContext
    sc.stop()

    // 6、打包