Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目

已于 2023-04-21 10:32:38 修改
阅读量638 收藏 1
点赞数 1
分类专栏： 课堂笔记-大数据处理库Spark 文章标签： spark scala 大数据
于 2023-04-20 11:18:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61324603/article/details/130052325
版权

目录

零、本讲学习目标

一、词频统计准备工作

（一）版本选择问题

（二）安装Scala2.12.15

（三）启动集群的HDFS与Spark

（四）在HDFS上准备单词文件

二、本地模式运行Spark项目

（一）新建Maven项目

（二）添加相关依赖和构建插件

（三）创建日志属性文件

（四）添加Scala SDK

（五）创建词频统计单例对象

（六）本地运行程序，查看结果

（七）对于程序代码进行解析

三、集群模式执行Spark程序

（一）添加打包插件

三、集群模式运行Spark项目

（一）利用Maven打包

（二）利用IDEA打包

（三）执行提交命令

1、不带参数执行

2、带参数执行

（四）Spark WebUI界面查看应用程序信息

零、本讲学习目标

  1. 掌握本地模式执行Spark程序
  2. 掌握集群模式执行Spark程序

一、词频统计准备工作

  • 单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。
  • 在IntelliJ IDEA中新建Maven管理的Spark项目，在该项目中使用Scala语言编写Spark的WordCount程序，可以本地运行Spark项目查看结果，也可以将项目打包提交到Spark集群（Standalone模式）中运行。

（一）版本选择问题

  • 前面创建了Spark集群（Standalone模式），采用的是Spark3.3.2版本

  • Spark3.3.2用的Scala库是2.13，但是Spark-Shell里使用的Scala版本是2.12.15

  • 为了Spark项目打成jar包能够提交到这个Spark集群运行，本地就要安装Scala2.12.15

  • 由于Spark项目要求Spark内核版本与Scala库版本（主版本.次版本）要保持一致，否则本地都无法运行项目。Spark3.2.0开始，要求Scala库版本就更新到了2.13，只有Spark3.1.3使用Scala库版本依然是2.12，因此Spark项目选择使用Spark3.1.3。

  • Spark项目如果基于JDK11，本地运行没有问题，但是打成Jar包提交到集群运行会报错

  • 卸载之前在Windows上安装的Scala2.13.10

（二）安装Scala2.12.15

（三）启动集群的HDFS与Spark

  • 启动HDFS服务
  • 启动Spark集群

（四）在HDFS上准备单词文件

  • 在master虚拟机上创建单词文件 - words.txt

  • 将单词文件上传到HDFS指定目录/wordcount/input

二、本地模式运行Spark项目

（一）新建Maven项目

  • 新建Maven项目，注意，要基于JDK8

  • 设置项目信息（项目名称、保存位置、组编号以及产品编号）

  • 单击【Finish】按钮

  • 将java目录改成scala目录

（二）添加相关依赖和构建插件

  • 在pom.xml文件里添加依赖与Maven构建插件
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.huawei.rdd</groupId>
    <artifactId>SparkRDDWordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.13.10</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.13</artifactId>
            <version>3.3.2</version>
        </dependency>
    </dependencies>
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.3.2</version>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>scala-test-compile</id>
                        <phase>process-test-resources</phase>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>
  • 由于源程序目录改成了scala，在<build>元素里必须添加子元素<sourceDirectory>，指定目录src/main/scala

（三）创建日志属性文件

  • 在resources目录里创建日志属性文件 - log4j.properties

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

（四）添加Scala SDK

  • 安装配置Scala 2.12.15

  • 在项目结构窗口的Global Libraries里添加Scala 2.12.15

（五）创建词频统计单例对象

  • 创建net.huawei.rdd包，然后在包里创建WordCount单例对象

package net.huawei.rdd

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    // 设置系统属性HADOOP_USER_NAME为root用户，否则对HDFS没有写权限
    System.setProperty("HADOOP_USER_NAME", "root")
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("SparkRDDWordCount") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置（目前本地调试）
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf);
    // 判断命令行参数个数
    var inputPath = "";
    var outputPath = "";
    if (args.length == 0) {
      inputPath = "hdfs://master:9000/wordcount/input/words.txt";
      outputPath = "hdfs://master:9000/wordcount/output";
    } else if (args.length == 1) {
      inputPath = args(0); // 用户指定
      outputPath = "hdfs://master:9000/wordcount/output";
    } else if (args.length == 2) {
      inputPath = args(0); // 用户指定
      outputPath = args(1); // 用户指定
    } else {
      println("温馨提示：参数不能多于两个~")
      inputPath = args(0); // 用户指定
      outputPath = args(1); // 用户指定
    }
    // 进行词频统计
    val wc = sc.textFile(inputPath) // 读取文件，得到RDD
        .flatMap(_.split(" ")) // 扁平化映射，得到单词数组
        .map((_, 1)) // 针对每个单词得到二元组(word, 1)
        .reduceByKey(_ + _) // 按键进行聚合（key相同，value就累加）
        .sortBy(_._2, false) // 按照单词个数降序排列
    // 输出词频统计统计
    wc.collect.foreach(println)
    // 词频统计结果保存到指定位置
    wc.saveAsTextFile(outputPath);
    // 停止Spark容器，结束任务
    sc.stop()
  }
}

（六）本地运行程序，查看结果

  • 首先看控制台输出结果
  • 然后查看HDFS上的结果文件内容
  • 有两个结果文件，我们可以分别查看其内容
  • 创建文本文件 - word.txt
  • 上传到HDFS的/input目录
  • 给程序设置命令行参数（注意两个参数之间必须有空格）
  • 运行程序，查看控制台输出结果
  • 查看HDFS上的结果文件内容

（七）对于程序代码进行解析

  • SparkConf对象的setMaster()方法用于设置Spark应用程序提交的URL地址。若是Standalone集群模式，则指Master节点的访问地址；若是本地（单机）模式，则需要将地址改为local或local[N]或local[*]，分别指使用1个、N个和多个CPU核心数。本地模式可以直接在IDE中运行程序，不需要Spark集群。
  • 此处也可不设置。若将其省略，则使用spark-submit提交该程序到集群时必须使用--master参数进行指定。
  • SparkContext对象用于初始化Spark应用程序运行所需要的核心组件，是整个Spark应用程序中很重要的一个对象。启动Spark Shell后默认创建的名为sc的对象即为该对象。
  • textFile()方法需要传入数据来源的路径。数据来源可以是外部的数据源（HDFS、S3等），也可以是本地文件系统（Windows或Linux系统），路径可以使用以下3种方式：
    （1）文件路径：例如textFile("/input/data.txt ")，此时将只读取指定的文件。
    （2）目录路径：例如textFile("/input/words/")，此时将读取指定目录words下的所有文件，不包括子目录。
    （3）路径包含通配符：例如textFile("/input/words/*.txt")，此时将读取words目录下的所有TXT文件。
  • 该方法将读取的文件中的内容按行进行拆分并组成一个RDD集合。假设读取的文件为words.txt，则上述代码的具体数据转化流程如下图所示。
    在这里插入图片描述

三、集群模式执行Spark程序

（一）添加打包插件

三、集群模式运行Spark项目

（一）利用Maven打包

  • 添加打包插件
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
          http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.huawei.rdd</groupId>
    <artifactId>SparkRDDWordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.3</version>
        </dependency>
    </dependencies>
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.3.2</version>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>scala-test-compile</id>
                        <phase>process-test-resources</phase>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>
  • 单击刷新按钮，添加了两个插件
  • 单击LifeCycle下的package命令
  • 打包报错，阿里镜像云里找不到需要的东西，这个问题暂时无法解决，留待以后再说

（二）利用IDEA打包

  • 删除pom.xml文件里的构建插件

  • 单击刷新按钮，发现两个构建插件已删除

  • 打开项目结构窗口，选择Artifacts栏

  • 单击+按钮，在ADD列表里JAR

  • 在JAR子菜单里选择第二项From modules with dependencies...，设置主类以及JAR文件

  • 单击【OK】按钮

  • 修改名称，将输出目录里的依赖包全部移除

  • 单击【OK】按钮

  • 生成Artifact

  • 单击【Build】之后，项目里会出现out目录

  • 录屏演示如何利用IDEA构建jar包
    在这里插入图片描述

  • 由于没有将依赖包添加到生成的jar包，所以生成的jar包很小，只有5KB。如果将全部依赖包都打进jar包，那么生成的jar包就会有几十兆。

  • 将生成的jar包上传到master虚拟机/home目录

  • 查看上传的jar包

（三）执行提交命令

1、不带参数执行

（1）采用client提交方式

  • 执行命令：spark-submit --master spark://master:7077 --class net.huawei.rdd.WordCount SparkRDDWordCount.jar

  • 在一堆输出信息中查看词频统计结果

  • 查看结果文件内容

  • 删除输出目录

（2）采用cluster提交方式

  • 首先将词频统计jar包上传到HDFS指定目录
  • 执行命令：spark-submit --master spark://master:7077 --deploy-mode cluster --class net.huawei.rdd.WordCount --driver-memory 512m --executor-memory 1g --executor-cores 2 hdfs://master:9000/park/SparkRDDWordCount.jar
  • 在Spark WebUI里查看（Driver running on 192,168,1,102:37530，表明Driver是在slave1节点上运行）
  • 单击stdout超链接

2、带参数执行

（1）采用client提交方式

  • 执行命令：spark-submit --master spark://master:7077 --class net.huawei.rdd.WordCount SparkRDDWordCount.jar hdfs://master:9000/wc/input hdfs://master:9000/wc/output

  • 在一堆输出信息里查看词频统计结果

  • 删除输出目录

  • 执行命令：spark-submit --master spark://master:7077 --class net.huawei.rdd.WordCount SparkRDDWordCount.jar hdfs://master:9000/wc/input（只设置输入路径参数，没有设置输出路径参数）

（2）采用cluster提交方式

  • 执行命令：spark-submit --master spark://master:7077 --deploy-mode cluster --class net.huawei.rdd.WordCount --driver-memory 512m --executor-memory 1g --executor-cores 2 hdfs://master:9000/park/SparkRDDWordCount.jar hdfs://master:9000/wc/input hdfs://master:9000/wc/output
  • 在Spark WebUI里查看
  • 单击stdout超链接

（3）提交命令参数解析

  • –master：Spark Master节点的访问路径。由于在WordCount程序中已经通过setMaster()方法指定了该路径，因此该参数可以省略。
  • –class：SparkWordCount程序主类的访问全路径（包名.类名）。
  • hdfs://master:9000/wc/input：单词数据的来源路径。该路径下的所有文件都将参与统计。
  • hdfs://master:9000/wc/output：统计结果的输出路径。与MapReduce一样，该目录不应提前存在，Spark会自动创建。

（四）Spark WebUI界面查看应用程序信息

  • 在应用程序运行的过程中，也可以访问Spark的WebUI http://master:4040/，查看正在运行的Job（作业）的状态信息，包括作业ID、作业描述、作业已运行时长、作业已运行Stage数量、作业Stage总数、作业已运行Task任务数量等（当作业运行完毕后，该界面将不可访问）

练习&两年半
关注
专栏目录
2023年Spark大数据处理讲课笔记
howard2005的专栏
04-16 1225
scala、spark、spark rdd、spark sql、spark streaming
Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
最新发布
howard2005的专栏
05-15 1087
1. 学会使用默认数据源； 2. 学会手动指定数据源； 3. 理解数据写入模式； 4. 掌握分区自动推断
IDEA使用Spark 进行对所有数据进行统计
qq_69314824的博客
07-21 981
IDEA使用Spark 进行对所有数据进行统计
新闻网大数据实时分析可视化系统项目——15、基于IDEA环境下的Spark2.X程序开发...
weixin_30376509的博客
05-10 451
1.Windows开发环境配置与安装 下载IDEA并安装，可以百度一下免费文档。 2.IDEA Maven工程创建与配置 1）配置maven 2）新建Project项目 3）选择maven骨架 4）创建项目名称 5）选择maven地址 6）生成maven项目 7）选择scala版本 8）新建Java 和 scala目录 9）编辑pom....
基于Idea的Spark大数据分析--scala
haerxiluo的博客
06-17 4151
问题重述 • 基于Eclipse或IDEA完成Spark大数据分析 • Spark1.x或2.x版本均可 • 能够读取给定的数据文件 • 出租车GPS数据文件（taxi_gps.txt） • 北京区域中心坐标及半径数据文件(district.txt) • 能够输出以下统计信息 • A：该出租车GPS数据文件（taxi_gps.txt）包含多少量车？ • B：北京每个城区的车辆位置点数（每辆车有多个位置点，允许重复） 开发环境： Spark版本 spark-2.1.1-bin-hadoop2.7 Scala版
Spark大数据分析与实战：IDEA使用Maven构建Spark项目
热门推荐
?
04-05 3万+
Spark大数据分析与实战：IDEA使用Maven构建Spark项目 一、创建maven工程 二、修改pom.xml文件导入依赖 pom.xml文件代码如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi
Spark3.2教程（五）IDEA下Java开发Spark词频统计
Java朱老师博客
12-18 2215
上一篇文章中，使用了Scala开发了词频统计，本篇文章我们使用Java开发同样的词频统计，借以对比两门语言的不同。 一、创建我们熟悉的Maven Java
Window 上使用 IDEA 编写词频统计的 spark scala 程序，提交 jar 包到 虚拟机上运行
chen_zan_yu_的博客
11-30 670
太男了，必须写这篇博客让你们少走弯路（阿亮制作） 1.安装 IDEA 下 载 地 址 ： https://www.jetbrains.com/idea/download/#section=windows 下载版本： spark 和 scala 版本的选择，进入虚拟机，启动 spark-shell，使用命令./spark-shell，查看版本信息： 2.下载 Scala sc...
spark大数据日志分析pom配置文件idea
09-28
spark 大数据日志分析项目所使用的配置文件，对应的编译器为idea2018社区版
大数据Spark（十一）：应用开发基于IDEA集成环境
Lansonli（蓝深李）的博客
04-11 1329
Spark应用开发-基于IDEA 实际开发Spark 应用程序使用IDEA集成开发环境，Spark课程所有代码均使用Scala语言开发，利用函数式编程分析处理数据，更加清晰简洁。 企业中也使用Java语言开发Spark程序，但较少，后续也可以给大家演示 创建工程 创建Maven Project工程 添加依赖至POM文件中，内容如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a.
大数据密训第九课：IDEA下开发Spark程序
kxr0502的博客
01-11 1062
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分 第二阶段（Spark超大规模
【Scala】使用Scala程序实现WordCount--词频统计（代码）
wyz0516071128的博客
07-16 7781
这个代码实现的统计单词出现的次数：object WordCount { def main(args: Array[String]): Unit = { val lines = List("hadoop hive spark scala","spark hive habase", "hive spark java") //数据转换 val mappedWord...
大数据Spark IDEA应用开发
赵广陆
05-04 644
目录1 构建Maven Project2 应用入口：SparkContext3 编程实现：WordCount4 编程实现：TopKey5 Spark 应用提交5.1 应用提交语法5.2 基本参数配置5.3 Driver Program 参数配置5.4 Executor 参数配置5.5 官方案例6 应用打包运行 1 构建Maven Project 实际开发Spark 应用程序使用IDEA集成开发环境，Spark课程所有代码均使用Scala语言开发，利用函数式编程分析处理数据，更加清晰简洁。企业中也使用Jav
Spark3.2教程（四）IDEA下Scala开发Spark词频统计
Java朱老师博客
12-18 2838
本篇文章，讲解在Windows10下，使用IDEA搭建好的Maven Scala项目进行本地的Spark词频统计的项目开发工作。 在上一篇文章中创建好的Module的package下，新建Scala类，选择object形式：
大数据之spark开发环境搭建（基于idea 和maven）
HW_870754395的博客
07-25 697
spark开发环境搭建（基于idea 和maven）
Study 2.4 IDEA开发词频统计项目
weixin_64270471的博客
05-15 258
执行命令：spark-submit --master spark://master:7077 --deploy-mode cluster --class net.huawei.rdd.WordCount --driver-memory 512m --executor-memory 1g --executor-cores 2 hdfs://master:9000/park/SparkRDDWordCount.jar。hdfs://master:9000/wc/output：统计结果的输出路径。
大数据实时处理 2.4 IDEA开发词频统计项目
m0_73706260的博客
04-13 313
执行命令：spark-submit --master spark://master:7077 --class net.huawei.rdd.WordCount SparkRDDWordCount.jar。.flatMap(_.split(" ")) // 扁平化映射，得到单词数组。.flatMap(_.split(" ")) // 扁平化映射，得到单词数组。.map((_, 1)) // 针对每个单词得到二元组（word, 1).map((_, 1)) // 针对每个单词得到二元组（word, 1)
Spark高效数据分析01、idea开发环境搭建
红目香薰
07-15 2584
💝博客【红目香薰的博客_CSDN博客-计算机理论,2022年蓝桥杯,MySQL领域博主】💝✍本文由在下【红目香薰】原创，首发于CSDN✍🤗2022年最大愿望【服务百万技术人次】🤗💝Spark初始环境地址【】💝。.........
Spark大数据处理：核心技术与实战优化
"《Spark大数据处理：技术、应用与性能优化》是高彦杰撰写的一本书，涵盖了Spark的基础知识、安装部署、计算模型以及工作原理等核心内容，旨在帮助读者理解Spark在大数据处理中的角色和优化策略。书中还列举了Spark...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

练习&两年半

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值