Spark本地worldcount详细讲解(Scala版本)以及流程

最新推荐文章于 2024-07-03 15:06:34 发布

Xlucas

最新推荐文章于 2024-07-03 15:06:34 发布

阅读量1.1k

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/paicMis/article/details/85037264

版权

这篇博客详细讲解了使用Scala编程实现Spark的WorldCount例子，涵盖了从编写Spark代码到执行的完整流程，适合初学者了解和学习Spark的基础操作。

摘要由CSDN通过智能技术生成

主要介绍Scala来写spark代码的流程

package com.xlucas
    
    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    /**
      * Created by Xlucas on 2018/12/16.
      */
    object WordCount {
      def main(args: Array[String]): Unit = {
    
        /**
        第一步：创建spark的配置对象sparkconf,设置spark程序的运行时的配置信息，例如说通过setMaster来设置程序
          链接spark集群的master的URL，如果设置为local，则代表spark程序在本地运行，
          */
        val conf=new SparkConf();//创建SparkConf对象
        conf.setAppName("WordCount")//设置应用程序的名称,在程序运行的监控界面可以看到这个名字
        conf.setMaster("local")//此时，程序在本地执行，不需要安装spark集群
        //conf.setMaster("spark://192.168.18.140:7077")//指定spark运行是集群模式 一般我们不在代码中指定，我们在提交的时候指定
        /*
        第二步：创建SparkContext对象，
        SparkContext是spark程序所有功能的唯一入口，无论是采用Scala，Java，Python，R等都必须有一个SparkContext
        SparkContext核心作用：初始化spark应用程序运行