Spark编程环境搭建及WordCount实例

最新推荐文章于 2025-04-21 11:27:07 发布
最新推荐文章于 2025-04-21 11:27:07 发布
阅读量1.7k 收藏 4
点赞数 3
分类专栏： Scala Spark 文章标签： Spark Scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/py_123456/article/details/82665623
版权
本文详细介绍如何使用IntelliJ IDEA和Maven搭建Spark开发环境，并通过Scala与Java实现WordCount程序，涵盖从环境配置到程序部署的全过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于Intellij IDEA搭建Spark开发环境搭建

　基于Intellij IDEA搭建Spark开发环境搭——参考文档

　　● 参考文档http://spark.apache.org/docs/latest/programming-guide.html

　　● 操作步骤

·a)创建maven 项目

·b)引入依赖（Spark 依赖、打包插件等等）

　基于Intellij IDEA搭建Spark开发环境—maven vs sbt

　　● 哪个熟悉用哪个

　　● Maven也可以构建scala项目

　基于Intellij IDEA搭建Spark开发环境搭—maven构建scala项目

　　● 参考文档http://docs.scala-lang.org/tutorials/scala-with-maven.html

　　● 操作步骤

a)用maven构建scala项目(基于net.alchim31.maven:scala-archetype-simple)

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

b)pom.xml引入依赖(spark依赖、打包插件等等)

　　在pom.xml文件中的合适位置添加以下内容：

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.2.0</version>
        <scope>provided</scope> //设置作用域，不将所有依赖文件打包到最终的项目中
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>2.4.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                        <configuration>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"></transformer>
                            </transformers>
                            <createDependencyReducedPom>false</createDependencyReducedPom>
                        </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

　　进行一次打包操作以测试是否工作正常。
这里写图片描述

　　在Terminal中输入指令进行打包操作。

mvn clean package
运行结果如下：
D:\Code\JavaCode\sparkMaven>mvn clean package
 [INFO] Scanning for projects...
[INFO]
[INFO] ---------------------< com.zimo.spark:scala-spark >---------------------
[INFO] Building scala-spark 1.0-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ scala-spark ---
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ scala-spark ---
[WARNING] Using platform encoding (GBK actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] skip non existing resourceDirectory D:\Code\JavaCode\sparkMaven\src\main\resources
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ scala-spark ---
[INFO] No sources to compile
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ scala-spark ---
[WARNING] Using platform encoding (GBK actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] skip non existing resourceDirectory D:\Code\JavaCode\sparkMaven\src\test\resources
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ scala-spark ---
[INFO] No sources to compile
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ scala-spark ---
[INFO] No tests to run.
[INFO]
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ scala-spark ---
[WARNING] JAR will be empty - no content was marked for inclusion!
[INFO] Building jar: D:\Code\JavaCode\sparkMaven\target\scala-spark-1.0-SNAPSHOT.jar
[INFO]
[INFO] --- maven-shade-plugin:2.4.1:shade (default) @ scala-spark ---
[INFO] Replacing original artifact with shaded artifact.
[INFO] Replacing D:\Code\JavaCode\sparkMaven\target\scala-spark-1.0-SNAPSHOT.jar with D:\Code\JavaCode\sparkMaven\target\scala-spark-1.0-SNAPSHOT-shaded.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 9.675 s
[INFO] Finished at: 2018-09-11T15:33:53+08:00
[INFO] ------------------------------------------------------------------------

　　出现了BUILD SUCCESS，表明一切正常。下面给大家演示以下Scala编程的大致流程，以及在该框架下同样用Java进行实现应该如何操作。

Scala编程实现WordCount

这里写图片描述

这里写图片描述

　　注意：此处必须选为Object，否则没有main方法！

　　然后输入以下代码，然后执行打包操作

def main(args: Array[String]): Unit = {
  println("hello spark")
}

这里写图片描述

　　完成后可以看到项目目录下多出来了一个target目录。这就是使用Scala编程的一个大致流程，下面我们来写一个WordCount程序。（后面也会有Java编程的版本提供给大家）

　　首先在集群中创建以下目录和测试文件：

[hadoop@masternode ~]$ cd /home/hadoop/

[hadoop@masternode ~]$ ll

total 68

drwxr-xr-x. 9 hadoop hadoop  4096 Sep 10 22:15 app

drwxrwxr-x. 6 hadoop hadoop  4096 Aug 17 10:42 data

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Desktop

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Documents

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Downloads

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Music

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Pictures

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Public

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Templates

drwxrwxr-x. 3 hadoop hadoop  4096 Apr 18 10:11 tools

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Videos

-rw-rw-r--. 1 hadoop hadoop 20876 Apr 20 18:03 zookeeper.out

[hadoop@masternode ~]$ mkdir testSpark/

[hadoop@masternode ~]$ ll

total 72

drwxr-xr-x. 9 hadoop hadoop  4096 Sep 10 22:15 app

drwxrwxr-x. 6 hadoop hadoop  4096 Aug 17 10:42 data

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Desktop

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Documents

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Downloads

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Music

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Pictures

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Public

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Templates

drwxrwxr-x. 2 hadoop hadoop  4096 Sep 12 10:23 testSpark

drwxrwxr-x. 3 hadoop hadoop  4096 Apr 18 10:11 tools

drwxr-xr-x. 2 hadoop hadoop  4096 Apr 17 10:03 Videos

-rw-rw-r--. 1 hadoop hadoop 20876 Apr 20 18:03 zookeeper.out

[hadoop@masternode ~]$ cd testSpark/

[hadoop@masternode testSpark]$ vi word.txt

apache hadoop spark scala

apache hadoop spark scala

apache hadoop spark scala

apache hadoop spark scala

　　WordCount.scala代码如下：（如果右键New下面没有“Scala Class“”选项，请检查IDEA是否添加了scala插件）

package com.zimo.spark

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by Zimo on 2018/9/11
  */
object MyWordCount {
  def main(args: Array[String]): Unit = {
    //参数检查
    if (args.length < 2) {
      System.err.println("Usage: myWordCount <input> <output>")
      System.exit(1)
    }

    //获取参数
    val input = args(0)
    val output = args(1)

    //创建Scala版本的SparkContext
    val conf = new SparkConf().setAppName("myWordCount")
    val sc = new SparkContext(conf)

    //读取数据
    val lines = sc.textFile(input)

    //进行相关计算
    lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println) 

    //保存结果

    sc.stop()
  }
}

　　从代码可以看出scala的优势就是简洁，但是可读性较差。所以，学习可以与后面的java代码进行对比。

　　然后打包
　　
这里写图片描述

　　打包完成后把上图中的文件上传到spark集群上去，然后执行。

[hadoop@masternode testSpark]$ rz



[hadoop@masternode testSpark]$ ll

total 8

-rw-r--r--. 1 hadoop hadoop 1936 Sep 12 10:59 scala-spark-1.0-SNAPSHOT.jar

-rw-rw-r--. 1 hadoop hadoop  104 Sep 12 10:26 word.txt

[hadoop@masternode testSpark]$ cd ../app/spark-2.2.0/

[hadoop@masternode spark-2.2.0]$ cd bin/

[hadoop@masternode bin]$ ll

total 92

-rwxr-xr-x. 1 hadoop hadoop 1089 Jul  1  2017 beeline

-rw-r--r--. 1 hadoop hadoop  899 Jul  1  2017 beeline.cmd

-rwxr-xr-x. 1 hadoop hadoop 1933 Jul  1  2017 find-spark-home

-rw-r--r--. 1 hadoop hadoop 1909 Jul  1  2017 load-spark-env.cmd

-rw-r--r--. 1 hadoop hadoop 2133 Jul  1  2017 load-spark-env.sh

-rwxr-xr-x. 1 hadoop hadoop 2989 Jul  1  2017 pyspark

-rw-r--r--. 1 hadoop hadoop 1493 Jul  1  2017 pyspark2.cmd

-rw-r--r--. 1 hadoop hadoop 1002 Jul  1  2017 pyspark.cmd

-rwxr-xr-x. 1 hadoop hadoop 1030 Jul  1  2017 run-example

-rw-r--r--. 1 hadoop hadoop  988 Jul  1  2017 run-example.cmd

-rwxr-xr-x. 1 hadoop hadoop 3196 Jul  1  2017 spark-class

-rw-r--r--. 1 hadoop hadoop 2467 Jul  1  2017 spark-class2.cmd

-rw-r--r--. 1 hadoop hadoop 1012 Jul  1  2017 spark-class.cmd

-rwxr-xr-x. 1 hadoop hadoop 1039 Jul  1  2017 sparkR

-rw-r--r--. 1 hadoop hadoop 1014 Jul  1  2017 sparkR2.cmd

-rw-r--r--. 1 hadoop hadoop 1000 Jul  1  2017 sparkR.cmd

-rwxr-xr-x. 1 hadoop hadoop 3017 Jul  1  2017 spark-shell

-rw-r--r--. 1 hadoop hadoop 1530 Jul  1  2017 spark-shell2.cmd

-rw-r--r--. 1 hadoop hadoop 1010 Jul  1  2017 spark-shell.cmd

-rwxr-xr-x. 1 hadoop hadoop 1065 Jul  1  2017 spark-sql

-rwxr-xr-x. 1 hadoop hadoop 1040 Jul  1  2017 spark-submit

-rw-r--r--. 1 hadoop hadoop 1128 Jul  1  2017 spark-submit2.cmd

-rw-r--r--. 1 hadoop hadoop 1012 Jul  1  2017 spark-submit.cmd
[hadoop@masternode testSpark]$ ./spark-submit --class com.zimo.spark.MyWordCount ~/testSpark/scala-spark-1.0-SNAPSHOT.jar ~/testSpark/word.txt ~/testSpark/

　　运行结果如下图所示：
　　
这里写图片描述

　　以上操作是把结果直接打印出来，下面我们尝试一下将结果保存到文本当中去。修改以下代码：

//进行相关计算
//lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)
val resultRDD = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)

//保存结果
resultRDD.saveAsTextFile(output)

　　再次执行：

./spark-submit --class com.zimo.spark.MyWordCount ~/testSpark/scala-spark-1.0-SNAPSHOT.jar ~/testSpark/word.txt ~/testSpark/result
//输出目录一定要为不存在的目录！

　　结果如下：

[hadoop@masternode testSpark]$ ll

total 5460

drwxrwxr-x. 2 hadoop hadoop    4096 Sep 12 16:02 result

-rw-r--r--. 1 hadoop hadoop 5582827 Sep 12 16:00 scala-spark-1.0-SNAPSHOT.jar

-rw-rw-r--. 1 hadoop hadoop     104 Sep 12 15:52 word.txt

[hadoop@masternode testSpark]$ cd result/

[hadoop@masternode result]$ ll

total 4

-rw-r--r--. 1 hadoop hadoop 42 Sep 12 16:02 part-00000

-rw-r--r--. 1 hadoop hadoop  0 Sep 12 16:02 _SUCCESS

[hadoop@masternode result]$ cat part-00000

(scala,4)

(spark,4)

(hadoop,4)

(apache,4)

**

Java编程实现WordCount

**

　　在同样目录新建一个java目录，并设置为”Sources Root”。

这里写图片描述

　　单元测试目录”test”同样需要建一个java文件夹。

这里写图片描述

　　同理设置为”Test Sources Root”。然后分别再创建resources目录（用于存放配置文件），并分别设置为“Resources Root”和“Test Resources Root”。
　　
这里写图片描述

　　最后，创建一个“com.zimo.spark”包，并在下面新建一个MyJavaWordCount.Class类（如果右键New下面没有“Java Class”选项请参看博文https://blog.csdn.net/py_123456/article/details/82628612下的详细讲解），其中的代码为如下：

package com.zimo.spark;


import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;
import java.util.Arrays;
import java.util.Iterator;

/**
 * Created by Zimo on 2018/9/12
 */
public class MyJavaWordCount {
    public static void main(String[] args) {

        //参数检查
        if (args.length < 2) {
            System.err.println("Usage: MyJavaWordCount <input> <output>");
            System.exit(1);
        }

        //获取参数
        String input = args[0];
        String output = args[1];

        //创建Java版本的SparkContext
        SparkConf conf = new SparkConf().setAppName("MyJavaWordCount");
        JavaSparkContext sc = new JavaSparkContext(conf);

        //读取数据
        JavaRDD<String> inputRDD = sc.textFile(input);

        //进行相关计算
        JavaRDD<String> words = inputRDD.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public Iterator<String> call(String line) throws Exception {
                return Arrays.asList(line.split(" "));
            }
        });


        JavaPairRDD<String, Integer> result = words.mapToPair(new PairFunction<String, String, Integer>() {
            @Override
            public Tuple2<String, Integer> call(String word) throws Exception {
                return new Tuple2<String, Integer>(word, 1);
            }
        }).reduceByKey(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer x, Integer y) throws Exception {
                return x+y;
            }
        });

        //保存结果
        result.saveAsTextFile(output);

        //关闭sc
        sc.stop();
    }
}

　　注意：此处要做一点点修改。注释掉pom.xml文件下的此处内容

这里写图片描述
此处是默认Source ROOT的路径，所以打包时就只能打包Scala下的代码，而我们新建的Java目录则不会被打包，注释之后则会以我们之前的目录配置为主。
　　然后就可以执行打包和集群上的运行操作了。运行和Scala编程一模一样，我在这里就不赘述了，大家参见上面即可！只是需要注意一点：output目录必须为不存在的目录，请记得每次运行前进行修改！

以上就是博主为大家介绍的这一板块的主要内容，这都是博主自己的学习过程，希望能给大家带来一定的指导作用，有用的还望大家点个支持，如果对你没用也望包涵，有错误烦请指出。如有期待可关注博主以第一时间获取更新哦，谢谢！

Spark on Docker：容器化大数据开发环境搭建指南
AI天才研究院
05-08 1008
随着大数据处理需求的爆发式增长，Apache Spark已成为分布式计算领域的事实标准。环境配置复杂性：Spark依赖Java、Scala运行时及Hadoop生态组件，版本兼容性问题频发环境一致性难题：开发、测试、生产环境的配置差异导致"在我机器上能跑"的经典问题资源隔离不足：多用户共享集群时易出现资源抢占和性能抖动分钟级环境初始化，无需手动配置依赖开发/测试环境完全镜像化，一键迁移资源细粒度隔离，支持多版本共存Docker基础架构与核心概念。
spark运行wordcount例子
10-31
本例子是让新手熟悉了解如果用idea开发程序，提交到spakr集群上读取hdfs数据这么一个流程。博客讲解链接：https://blog.csdn.net/cuicanxingchen123456/article/details/83573838
spark简单实例wordcount
是我的博客啊
05-23 432
计算流程： 项目依赖pom.xml <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.1</version> </de
Spark环境搭建流程
最新发布
qq_57174393的博客
04-21 1704
spark安装测试
Spark wordCount案例
埋葬青春
06-03 590
1、构建一个RDD ##path指定文件所在的位置，第一个默认的路径是HDFS的路径，而且可以省略hdfs:主机名:8020/,第二个如果是linux文件的路径，那么需要写file:// + 文件的绝对路径 val textFile = sc.textFile("README.md") org.apache.hadoop.mapred.InvalidInputException:  Input p...
spark wordcount 实例
bitcarmanlee的博客
07-21 8128
spark集群搭建完毕以后，自然需要来测试一下。大数据领域的第一个程序自然就是wordcount了，就好像我们新接触一门编码语言，第一个程序就是hello world一样。接下来，我们就尝试用各种方式在spark里实现wordcount。1.准备数据首先准备一个简单文件aaa，然后put到hdfs上面：[root@namenodetest01 spark-1.6.0-bin-hadoop2.4]#
Spark之WordCount案例
qq_44403259的博客
03-12 382
在idea中完成wordcount程序编写、在windows本机和集群环境下分别运行 Windows本机运行 scala程序如下： object SparkWorldCount { def main(args: Array[String]): Unit = { //1、做出sc val conf = new SparkConf() conf.setMaster("local") conf.s...
Spark入门：Scala环境配置与WordCount实战
这篇文章为初学者提供了一个良好的Spark入门路径，涵盖了环境配置、工程创建以及简单的Spark编程实践，旨在帮助读者快速上手Spark大数据处理。通过跟随这些步骤，读者将能够运行自己的第一个Spark程序，从而深入理解...
【Spark编程基础】
Lenhart001的博客
03-06 1294
【 Spark编程基础 】
Spring Boot与Spark结合的开发手脚架：WordCount实例
- 在本上下文中，该WordCount模拟是为了演示如何使用开发手脚架来构建一个简单的Spark应用程序，并且以WordCount为例进行演示，展示如何读取数据、进行数据处理并输出结果。 5. 开箱即用（Zero Configuration）： ...
Spark入门实战：Scala开发环境配置与WordCount案例
"Spark入门实战教程，通过Scala IDE搭建开发环境，配置Scala 2.10.5版本，安装JDK 1.6以上，创建Spark工程并添加Spark assembly JAR到classpath。实例运行在Standalone模式的Spark集群，包括一个Master和三个Worker...
Spark运行WordCount例子
m0_46917254的博客
03-13 3696
Spark运行WordCount例子（python） 一：前提 因为我们是在yarn上运行Spark，所以要有这个环境。文件是从hdfs上读取的，所以hadoop集群要搭建好（单机即可，不需要全分布式）。 下面演示是我在一台机器（master）上运行的。 另外代码用的是Python语言，在jupyter notebook上运行。 二：上传文件 1.查看本地文件： 2.把本地文件hello.txt上传到hdfs上。 命令：hadoop fs -put hello.txt /class_data 3.在yar
Spark实现WordCount案例
奔赴彼岸
01-14 511
RDD操作实现1.文本文件：方式一：没用正则处理的方式二：添加正则表达式方式三：利用sortBy()进行排序Spark sql实现导入隐式转换createOrReplaceTempView使用 1.文本文件： Preface “The Forsyte Saga” was the title originally destined for that part of it which is called “The Man of Property”; and to adopt it for the collec
spark简单入门案例wordCount
weixin_43924642的博客
04-18 2012
创建idea工程 package test.Spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { //alt+上箭头 向上拉取 ...
Spark实现WordCount经典案例
Kuber
04-17 2427
Spark实现WordCount经典案例 创建数据源 数据源随便弄一下，两份一样即可，数据用空格隔开，换行 仅用spark进行连接，不适用spark提供的两种方法 方法一 package com.kuber.spark.core.wordcount import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Spark01_WordCount { def main(args: Ar
Spark-WordCount案例
dafsq的博客
03-06 283
Spark-WordCount案例
Spark-wordcount案例
iilegend的博客
06-14 191
def main(args: Array[String]): Unit = { //创建一个配置信息对象 //设置应用程序名称 val config:SparkConf = new SparkConf().setAppName("scala_worldcount") //设置运行模式 /* * local：使用本地一个线程模拟集群执行任...
spark-WordCount案例
reddy_Hu的博客
08-05 235
Scala程序 package com.doit.spark.day01 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { //创建SparkContext val conf = new SparkConf().setAppName("WordCoun
Spark WordCount 案例
m0_72168501的博客
01-14 2001
Spark WordCount 案例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值