Spark RDD案例：词频统计

最新推荐文章于 2024-04-02 13:01:45 发布
最新推荐文章于 2024-04-02 13:01:45 发布
阅读量236 收藏 2
点赞数
文章标签： spark scala big data intellij-idea hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guangzhizi_llj/article/details/125284926
版权

文章目录

（一）新建Maven项目

  • 新建Maven项目，基于JDK1.8
    在这里插入图片描述

  • 将java目录改成scala目录

在这里插入图片描述

（二）添加相关依赖和构建插件

  • 在pom.xml文件里添加依赖与Maven构建插件
 
 <?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.huawei.rdd</groupId>
    <artifactId>SparkRDDWordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.4</version>
        </dependency>
    </dependencies>
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.3.2</version>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>scala-test-compile</id>
                        <phase>process-test-resources</phase>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

（三）创建日志属性文件

  • 在资源文件夹里创建日指数型文件 - log4j.properties
log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

(四）创建词频统计单例对象

  • 在net.llj.spark包里创建WordCount单例对象
    在这里插入图片描述

package net.llj.spark

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    //设置系统属性HADOOP_USER_NAME为root用户，否则对HDFS没有权限
    System.setProperty("HADOOP_USER_NAME","root")
    //创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("SparkRDDWordCount") //设置应用名称
      .setMaster("local[*]") //设置主节点位置


    //基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf);

    //判断命令行参数个数
    var inputPath = "";
    var outputPath = "";
    if (args.length ==0){
    //这里的ip为配置好saprk的虚拟机ip
      inputPath = "hdfs://192.168.1.120:9000/input/words.txt";
      outputPath =  "hdfs://192.168.1.120:9000/WC_result";
    }else if (args.length == 1){
      inputPath = args(0); //用户指定
      outputPath = "hdfs://192.168.1.120:9000/WC_result";
    }else if (args.length == 2){
      inputPath = args(0);
      outputPath = args(1);

    }else{
      println("温馨提示参数不能多于两个！！！！！！！！")
      inputPath = args(0)
      outputPath = args(1)
    }
  
    //进行词频统计
    val wc = sc.textFile(inputPath) //读取文件，得到rdd
      .flatMap(_.split(" ")) //扁平化映射，得到单词数组
      .map((_,1)) // 针对单词得到二元组(word,1)
      .reduceByKey(_ + _) //按键进行组合(key相同，value就累加)
      .sortBy(_._2,false) //按照单词个数降序排列
//      .saveAsTextFile(outputPath); //词频统计结果保存到指定位置

    //输出词频统计
    wc.collect.foreach(println)
    //词频统计结果保存到指定位置
    wc.saveAsTextFile(outputPath);
    //停止Spark容器，结束任务
    sc.stop()
  }

}

（五）本地运行程序，查看结果

  • 首先看控制台输出结果
    在这里插入图片描述
  • 然后查看HDFS上的结果文件内容
    在这里插入图片描述

（六）将Spark项目编译和打包

  • 展开IDEA右侧的Maven窗口，双击其中的package项，将编写好的SparkRDDWordCount项目进行编译和打包
    在这里插入图片描述

  • 在target目录里生成了两个jar包，一个没有带依赖，一个带了依赖，我们使用没有带依赖的jar包 - SparkRDDWordCount-1.0-SNAPSHOT.jar

（七）将词频统计应用上传到虚拟机

  • 在master虚拟机上新建目录/app
  • 将SparkRDDWordCount-1.0-SNAPSHOT.jar上传到master虚拟机/app目录
    在这里插入图片描述

（八）在集群上执行词频统计应用

1、提交应用程序到集群中运行

（1）不带参数运行程序

  • 执行命令：spark-submit --master spark://master:7077 --class net.llj.spark.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar
  • 可以查看到输出结果
    在这里插入图片描述
  • 还可以查看HDFS的结果文件
    在这里插入图片描述

（2）带参数运行程序

  • 执行命令：spark-submit --master spark://master:7077 --class net.llj.spark.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar hdfs://master:9000/input/word.txt hdfs://master:9000/word_result

在这里插入图片描述

  • 查看HDFS上结果文件
    在这里插入图片描述

2、命令参数解析

  • master：Spark Master节点的访问路径。由于在WordCount程序中已经通过setMaster()方法指定了该路径，因此该参数可以省略。
  • class：SparkWordCount程序主类的访问全路径（包名.类名）。
  • hdfs://master:9000/input/word.txt：单词数据的来源路径。该路径下的所有文件都将参与统计。
  • hdfs://master:9000/word_result：统计结果的输出路径。与MapReduce一样，该目录不应提前存在，Spark会自动创建。
guangzhizi_llj
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pyspark之词频统计（解释）
superce的博客
07-05 5690
要让python程序具有spark的功能，能够编写出在spark上运行的程序，需要先导入pyspark的包       frompyspark import SparkContext然后假设要从一个文本文件中读取数据，进行词频统计，那么就要先读取文本文件       textFile= sc.textFile("file:///usr/local/spark/mycode/wordcount/wo...
Spark Rdd项目（词数统计）
qq_58166534的博客
06-17 378
编写准备文件上传文件 创建maven项目 在pom.xml里添加依赖
pysaprk_统计词频
wj1298250240的博客
12-14 359
pysaprk_统计词频 #方法2需要复制这三行 import findspark findspark.init() import pyspark import sys from pyspark import SparkConf, SparkContext if __name__ == "__main__": # master = "local" if len(sys.argv)...
PySpark学习案例——词频统计并排序（本地文件）
程研板的博客
08-19 1103
目录数据预览python代码提交运行运行结果 数据预览 //有4个内容一模一样的文件 [hadoop@hadoop000 wordcount]$ ls hello.txt hello - 副本 (2).txt hello - 副本 (3).txt hello - 副本.txt //文件内容 [hadoop@hadoop000 wordcount]$ cat hello.txt hello spark hello flink hello hadoop python代码 import sys from
Pyspark实战（二）wordcount词频统计
luoye4321的专栏
06-27 1719
E盘根目录创建test.txt输入测试内容如下： this is a test this very good you is very good what are you 完整代码如下： from pyspark import SparkContext,SparkConf def wordcount(): txtfile=r'E:\test.txt' c...
大数据技术实践——Spark词频统计
08-23
4. **DAG与Stage构建**：Spark会根据操作构建有向无环图（DAG），并将DAG划分为Stage，便于并行处理。 5. **Task执行**：Task Scheduler将Task发送给Executor执行，Executor在内存中处理数据。 6. **资源释放**：...
playing-with-spark-rdd:Apache Spark RDD示例
03-21
在本项目"playing-with-spark-rdd:Apache Spark RDD示例"中，我们将深入探讨如何使用Spark的RDD API以及与DataSet API的交互。 RDD是Spark对大规模数据的抽象表示，它是由不可变、分区的数据元素集合构成，分布在...
大数据技术实践之基于Spark的词频统计
03-05
3. **更好的任务调度**：Spark的弹性分布式数据集（RDD）允许数据在计算过程中保持在内存中，避免了Hadoop的磁盘I/O瓶颈。 4. **支持交互式分析**：Spark Shell使得用户能够进行实时的数据探索和调试。 在项目实践...
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
要将 Spark 与 HBase 集成，我们需要使用 `hbase-rdd` 库，它提供了 Spark 和 HBase 之间的桥梁。这个库允许我们将 HBase 表作为 RDD 处理，并且支持将 RDD 写回到 HBase。 1. **配置 Spark 与 HBase 连接** 在...
Spark的灵魂：RDD和DataSet
06-29
本课重点讲解Spark 的灵魂RDD 和DataSet。讲解RDD 的定义、五大特性剖析及DataSet的定义和内部机制剖析；对RDD 弹性特性七个方面进行解析；讲解RDD 依赖关系，包括窄依赖、宽依赖； 解析Spark 中DAG 逻辑视图；对RDD...
莎士比亚文集词频统计并行化算法_实验文件
02-26
这是《高校云计算应用创新大赛》里的最后一道题，题目是莎士比亚文集词频统计并行化算法。由于原网站上的实验文件已经无法下载了，所以这里上传一份，包含 shakespear.zip、stopword.txt.
pyspark计算词频
every place is the center of the universe
06-28 566
通过计算词语的词频，实现一个字典，字典键为名字，值为出现的次数，词频归一化 当前词语的出现次数/出现最多的词语次数-出现最少的词语次数，current_value/（max_value - min_value），循环每个词语的字段，最后构建字典{名字第一个字符:[(名字,对应频率),(),…]}，类似{“病”:[[“病毒感染”,0.1],[“病毒性上呼吸道感染”,0.001],] 计算词频关键代码： lines = sc.textFile(file_path) result = lines.flatMap(
pyspark基础案例(词频统计)解析
Weary_PJ的博客
11-19 1888
大数据工程实践教程(pyspark测试)WordCount回顾 前言 与Hello World同样经典,Spark的回顾将从WordCount开始 关于WordCount有关的实验已经不知道做过(抄过)n次了 本次回顾就剖析一下他的流程与各个函数的作用 并且测试一下Pycharm与pyspark是否可用 算子 简单的介绍一下用到的算子，也就三个 flatMap,map,reduceByKey 网上很多相关的详解,我的能力不够就不照猫画虎了 Spark常用算子详解 词频统计 对于要统计的txt文件 我们的思
Spark实战：词频统计
最新发布
howard2005的专栏
04-02 1558
在Spark实战中，我们通过Scala和Python两个版本分别实现了词频统计的功能。首先，我们从文本文件中创建了RDD，然后按空格拆分进行扁平化映射，接着将单词数组映射成二元组数组，之后对二元组数组进行按键归约，最后将词频统计结果按次数降序排列。在分步实现的基础上，我们还可以通过一步命令直接完成整个流程。通过这次实战，我们对Spark的基本操作有了更深入的了解，为后续的学习和实践打下了基础。
如何使用pyspark统计词频？
shadowcz007的博客
11-02 3521
假如进化的历史重来一遍，人的出现概率是零。—— 古德尔Spark 作为一个用途广泛的大数据运算平台。Spark 允许用户将数据加载到多台计算机所建立的 cluster...
【hadoop学习之路】Spark-shell RDD 实现词频统计
onion23的博客
06-11 3389
1. 在本地路径下创建文本文件 /test/words.txt，内容如下： python java cpp c hello world hadoop hdfs python java cpp c hello world hadoop hdfs python java cpp c hello world hadoop hdfs python java cpp c hello world hadoop hdfs python java cpp c hello world hadoop hdfs py
Spark中文词频统计并绘制词云图
m0_74394367的博客
10-14 694
Spark中文词频统计并绘制词云图
【头歌实训】PySpark Streaming 入门
撕得失败的标签的博客
12-27 3398
第1关：SparkStreaming 基础与套接字流 第2关：文件流 第3关：RDD Spark Streaming 为 Spark 提供了可拓展、高吞吐、容错的流计算能力。Spark Streaming 可整合多种输入数据源，如 Kafka、Flume、HDFS，甚至是普通的 TCP 套接字。经处理后的数据可存储至文件系统、数据库，或显示在仪表盘里。Spark Streaming 的基本原理是将实时输入数据流以时间片（秒级）为单位进行拆分，然后经 Spark 引擎以类似批处理的方式处理每个时间片数据。
spark词频统计
qq_34082921的博客
04-08 5791
spark词频统计 **最开始进入spark文件目录bin下输入“./pyspark”,就进入python交互式命令行，如果出现下图，表示成功，会显示spark的图表和版本号，我的版本是3.1.2 ** 第一步、在尖括号右侧写代码sc是一种抽象接口，在pyspark中我们可以直接调用，不必写sc。sc.textFile(“输入自身文件地址”)获取文件数据。 lines = sc.textFile("输入自身文件地址") 第二步、得到数据后就需要分割数据,这里是按照空格分隔 lambda是python中的
Spark RDD 教程：高性能分布式计算
Spark的核心组件包括SparkContext、RDD、DataFrame和Spark SQL等。" Spark的Resilient Distributed Datasets (RDD)是其核心抽象概念。RDD是一种不可变、分区的记录集合，可以在集群中进行并行操作。RDD通过弹性容错...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值