IDEA开发WordCount程序（Spark程序）

最新推荐文章于 2024-06-11 20:12:19 发布

顾雨.

最新推荐文章于 2024-06-11 20:12:19 发布

阅读量2.1k

点赞数 3

分类专栏： Spark 文章标签： intellij-idea spark 大数据 hadoop

本文链接：https://blog.csdn.net/qq_53325156/article/details/130267438

版权

Spark 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1.以本地模式执行Spark程序

在IDEA工具在本地开发WordCount单词计数程序的相关步骤

1.创建Maven项目，新建资源文件夹

创建一个Maven工程项目，命名为spark_chapter02

创建好项目后，在main和test目录下分别创建一个名为scala的文件夹。

创建好后的文件夹如上图所示为灰色。

选中main目录下的Scala文件夹，右击选中【将目标标记为】——>【源代码根目录】

点击之后可以看见其从灰色变成了蓝色

同理，右击选中test目录下的scala文件夹，右击选中【将目标标记为】——>【测试源代码根目录】

同理可以看见其从灰色变为绿色

2.添加spark的相关依赖和打包插件

打开pom.xml文件，在该文件下添加如下依赖。

 <!--设置依赖版本号-->
    <properties>
        <scala.version>2.11.8</scala.version>
        <hadoop.version>2.7.4</hadoop.version>
        <spark.version>2.3.2</spark.version>
    </properties>
    <dependencies>
        <!--Scala-->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <!--Spark-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!--Hadoop-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
    </dependencies>

添加完成后，更新一下啊maven文件，相关jar包会被自动加载到项目中。

3.编写代码，查看结果

在main目录下的scala文件夹中（等maven文件更新下载完成后此文件夹就可以创建Scala文件了），创建WordCount.scala文件用于词频统计，代码如下：

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    val sparkconf = new SparkConf().setAppName("WordCount").setMaster("local[2]")
    val sparkContext = new SparkContext(sparkconf)
    val data : RDD[String] = sparkContext.textFile("D:\\IDEA\\DEMO\\test\\words.txt")
    val words :RDD[String] = data.flatMap(_.split(" "))
    val wordAndOne :RDD[(String, Int)] = words.map(x =>(x,1))
    val result: RDD[(String, Int)] = wordAndOne.reduceByKey(_+_)
    val finalResult: Array[(String, Int)] = result.collect()
    println(finalResult.toBuffer)
    sparkContext.stop()
  }
}

注：注意修改文件words.txt的位置，需要先创建应该words.txt文件，然后复制该文件位置替换上述代码中文件的位置。

结果如下图所示：

2.集群模式执行spark程序

1.添加打包插件

在pom.xml文件中添加所需插件，具体配置如下：

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

2.修改代码，打包程序

打包项目之前，还需要对词频统计的代码进行修改，创建WordCount_Online.scala文件

和上述操作一样，创建Scala文件

文件代码如下：

package cn.itcast

/*
date:2022.03.16
author:dong hui
 */

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object WordCount_Online {
  def main(args: Array[String]): Unit = {
    val sparkconf = new SparkConf().setAppName("WordCount_Online")
    val sc = new SparkContext(sparkconf)
    val data : RDD[String] = sc.textFile(args(0))
    val words :RDD[String] = data.flatMap(_.split(" "))
    val wordAndOne :RDD[(String, Int)] = words.map(x =>(x,1))
    val result: RDD[(String, Int)] = wordAndOne.reduceByKey(_+_)
    result.saveAsTextFile(args(1))
    sc.stop()
  }
}

使用Maven Projects工具，双击Package，自动将项目打包为jar包

最终生成的jar文件会被创建在项目的target目录中

3.执行提交命令

先需要使用rz命令将spark_chapter02-1.0-SNAPSHOT.jar包上传到 /export/data目录下

在虚拟机里启动hadoop和spark

在hadoop01节点的spark目录下，执行spark-submit命令提交，命令如下：

bin/spark-submit --master spark://hadoop01:7077 --class cn.itcast.WordCount_Online --executor-memory 1g --total-executor-cores 1 /export/data/spark_chapter02-1.0-SNAPSHOT.jar /spark/test/words.txt /spark/test/out