Spark RDD案例：词频统计

于 2022-06-19 11:46:36 发布
阅读量680 收藏 3
点赞数
文章标签： spark scala intellij-idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67806436/article/details/125293181
版权

文章目录

一、提出任务

  • 单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。
  • 在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。
  • 预备工作：启动集群的HDFS与Spark

在这里插入图片描述

  • HDFS上的单词文件 - words.txt
    在这里插入图片描述

二、完成任务

（一）新建Maven项目

  • 新建Maven项目，基于JDK1.8
    在这里插入图片描述

  • 设置项目信息（项目名称、保存位置、组编号以及项目编号）
    在这里插入图片描述

  • 单击【Finish】按钮
    在这里插入图片描述

  • 将java目录改成scala目录
    在这里插入图片描述
    在这里插入图片描述

（二）添加相关依赖和构建插件

  • 在pom.xml文件里添加依赖与Maven构建插件
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
        http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>

   <groupId>net.zx.rdd</groupId>
   <artifactId>SparkRDDWordCount</artifactId>
   <version>1.0-SNAPSHOT</version>

   <dependencies>
       <dependency>
           <groupId>org.scala-lang</groupId>
           <artifactId>scala-library</artifactId>
           <version>2.12.15</version>
       </dependency>
       <dependency>
           <groupId>org.apache.spark</groupId>
           <artifactId>spark-core_2.12</artifactId>
           <version>2.4.4</version>
       </dependency>
   </dependencies>
   <build>
       <sourceDirectory>src/main/scala</sourceDirectory>
       <plugins>
           <plugin>
               <groupId>org.apache.maven.plugins</groupId>
               <artifactId>maven-assembly-plugin</artifactId>
               <version>3.3.0</version>
               <configuration>
                   <descriptorRefs>
                       <descriptorRef>jar-with-dependencies</descriptorRef>
                   </descriptorRefs>
               </configuration>
               <executions>
                   <execution>
                       <id>make-assembly</id>
                       <phase>package</phase>
                       <goals>
                           <goal>single</goal>
                       </goals>
                   </execution>
               </executions>
           </plugin>
           <plugin>
               <groupId>net.alchim31.maven</groupId>
               <artifactId>scala-maven-plugin</artifactId>
               <version>3.3.2</version>
               <executions>
                   <execution>
                       <id>scala-compile-first</id>
                       <phase>process-resources</phase>
                       <goals>
                           <goal>add-source</goal>
                           <goal>compile</goal>
                       </goals>
                   </execution>
                   <execution>
                       <id>scala-test-compile</id>
                       <phase>process-test-resources</phase>
                       <goals>
                           <goal>testCompile</goal>
                       </goals>
                   </execution>
               </executions>
           </plugin>
       </plugins>
   </build>
</project>
  • 由于源程序目录改成了scala，在元素里必须添加子元素，指定目录src/main/scala

（三）创建日志属性文件

  • 在资源文件夹里创建日指数型文件 - log4j.properties
    在这里插入图片描述
log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

（四）创建词频统计单例对象

  • 在net.huawei.rdd包里创建WordCount单例对象
    在这里插入图片描述
package net.zx.rdd

import org.apache.spark.{SparkConf, SparkContext}

/**
* 功能：利用RDD实现词频统计
* 作者：xizaizhao
* 日期：2022年06月14日
*/
object WordCount {
 def main(args: Array[String]): Unit = {
   // 设置系统属性HADOOP_USER_NAME为root用户，否则对HDFS没有写权限
   System.setProperty("HADOOP_USER_NAME", "root")
   // 创建Spark配置对象
   val conf = new SparkConf()
     .setAppName("SparkRDDWordCount") // 设置应用名称
     .setMaster("local[*]") // 设置主节点位置（目前本地调试）
   // 基于Spark配置对象创建Spark容器
   val sc = new SparkContext(conf);
   // 判断命令行参数个数
   var inputPath = "";
   var outputPath = "";
   if (args.length == 0) {
     inputPath = "hdfs://master:9000/input/words.txt";
     outputPath = "hdfs://master:9000/wc_result";
   } else if (args.length == 1) {
     inputPath = args(0); // 用户指定
     outputPath = "hdfs://master:9000/wc_result";
   } else if (args.length == 2) {
     inputPath = args(0); // 用户指定
     outputPath = args(1); // 用户指定
   } else {
     println("温馨提示：参数不能多于两个~")
     inputPath = args(0); // 用户指定
     outputPath = args(1); // 用户指定
   }
   // 进行词频统计
   val wc = sc.textFile(inputPath) // 读取文件，得到RDD
       .flatMap(_.split(" ")) // 扁平化映射，得到单词数组
       .map((_, 1)) // 针对每个单词得到二元组(word, 1)
       .reduceByKey(_ + _) // 按键进行聚合（key相同，value就累加）
       .sortBy(_._2, false) // 按照单词个数降序排列
   // 输出词频统计统计
   wc.collect.foreach(println)
   // 词频统计结果保存到指定位置
   wc.saveAsTextFile(outputPath);
   // 停止Spark容器，结束任务
   sc.stop()
 }
}

（五）本地运行程序，查看结果

  • 首先看控制台输出结果
    在这里插入图片描述

  • 然后查看HDFS上的结果文件内容
    在这里插入图片描述

  • 有两个结果文件，我们可以分别查看其内容
    在这里插入图片描述

  • 创建文本文件 - word.txt
    在这里插入图片描述

  • 上传到HDFS的/input目录
    在这里插入图片描述

  • 给程序设置命令行参数（注意两个参数之间必须有空格）

  • 运行程序，查看控制台输出结果
    在这里插入图片描述

  • 查看HDFS上的结果文件内容
    在这里插入图片描述

    （六）对于程序代码进行解析

    SparkConf对象的setMaster()方法用于设置Spark应用程序提交的URL地址。若是Standalone集群模式，则指Master节点的访问地址；若是本地（单机）模式，则需要将地址改为local或local[N]或local[*]，分别指使用1个、N个和多个CPU核心数。本地模式可以直接在IDE中运行程序，不需要Spark集群。

  • 此处也可不设置。若将其省略，则使用spark-submit提交该程序到集群时必须使用–master参数进行指定。

  • SparkContext对象用于初始化Spark应用程序运行所需要的核心组件，是整个Spark应用程序中很重要的一个对象。启动Spark Shell后默认创建的名为sc的对象即为该对象。

  • textFile()方法需要传入数据来源的路径。数据来源可以是外部的数据源（HDFS、S3等），也可以是本地文件系统（Windows或Linux系统），路径可以使用以下3种方式：
    （1）**文件路径：**例如textFile(“/input/data.txt “)，此时将只读取指定的文件。
    （2）**目录路径：**例如textFile(”/input/words/”)，此时将读取指定目录words下的所有文件，不包括子目录。
    （3）**路径包含通配符：**例如textFile(“/input/words/*.txt”)，此时将读取words目录下的所有TXT文件。

  • 该方法将读取的文件中的内容按行进行拆分并组成一个RDD集合。假设读取的文件为words.txt，则上述代码的具体数据转化流程如下图所示。
    在这里插入图片描述

    （七）将Spark项目编译和打包

  • 展开IDEA右侧的Maven窗口，双击其中的package项，将编写好的SparkRDDWordCount项目进行编译和打包
    在这里插入图片描述

  • 在target目录里生成了两个jar包，一个没有带依赖，一个带了依赖，我们使用没有带依赖的jar包 -
    SparkRDDWordCount-1.0-SNAPSHOT.jar
    在这里插入图片描述

    （八）将词频统计应用上传到虚拟机

  • 在master虚拟机上新建目录/app
    在这里插入图片描述

  • 将SparkRDDWordCount-1.0-SNAPSHOT.jar上传到master虚拟机/app目录
    在这里插入图片描述

（九）在集群上执行词频统计应用

  • 先把HDFS上存放结果文件的目录/wc_result删除
    在这里插入图片描述

1、提交应用程序到集群中运行

（1）不带参数运行程序

  • 执行命令：spark-submit --master spark://master:7077 --class
    net.huawei.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar
    在这里插入图片描述

  • 运行报错
    在这里插入图片描述

  • 原因是Maven项目里依赖的Scala版本问题
    在这里插入图片描述

  • 在pom.xml文件里修改Scala依赖的版本以及Spark依赖的版本
    在这里插入图片描述

  • 在项目结构对话框里修改scala-sdk的版本
    在这里插入图片描述

  • 再次本地运行，看能否得到结果
    在这里插入图片描述

  • 从新打包
    在这里插入图片描述

  • 再次上传jar包 - SparkRDDWordCount-1.0-SNAPSHOT.jar

  • 提交到Spark集群上运行
    在这里插入图片描述

  • 可以查看到输出结果
    在这里插入图片描述

  • 还可以查看HDFS的结果文件
    在这里插入图片描述
    带参数运行程序

  • 执行命令：spark-submit --master spark://master:7077 --class
    net.huawei.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar
    hdfs://master:9000/input/word.txt hdfs://master:9000/word_result
    在这里插入图片描述

  • 查看输出结果
    在这里插入图片描述

  • 还可以查看HDFS上结果文件
    在这里插入图片描述

一、pandas是什么？

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、使用步骤

1.引入库

代码如下（示例）：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import  ssl
ssl._create_default_https_context = ssl._create_unverified_context
xizaizhao
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark创建RDD、DataFrame各种情况的默认分区数
01-27
本文来自dongkelun，讲各种情况下的sc.defaultParallelism，defaultMinPartitions，各种情况下创建以及转化。熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数量有关，还有很坑的某些情况的默认分区数为1。如果分区数少，那么并行执行的task就少，特别情况下，分区数为1，即使你分配的Executor很多，而实际执行的Executor只有1个，如果数据
Spark学习---统计文件单词出现次数
05-12
上一节我们简单介绍了RDD中转化和执行操作的用法，本节将通过一个具体的示例来加深对RDD的认识。 一.需求 统计本地文件中单词出现次数 二.操作流程 1.读取外部文件创建JavaRDD; 2.通过flatMap转化操作切分字符串，获取单词新JavaRDD; 3.通过mapToPair，以key为单词，value统一为1的键值JavaPairRDD; 4.通过reduceByKey，累计叠加每个key，统计单词出现次数； 三.代码实现 四.下载代码
简单SparkRDD单词计数操作
王文强的博客
05-14 7623
1 工具IDEA 2 添加jar依赖 3 spark的local模式 在自己电脑下创建文件： E://sparktext//text.txt然后写入： hadoop hbase hadoop hello world hive hive hello spark spark mapreduce 1 代码 import org.apache.spark.{SparkConf
pyspark入门系列 - 01 统计文档中单词个数
qq_34615112的博客
06-10 1936
导入SparkConf和SparkContext模块，任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。 from pyspark import SparkConf from pyspark import SparkContext conf = SparkConf().setMaster('l
Spark RDD案例：词频统计（大数据实训01）
qq_56244269的博客
06-15 648
单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。 在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。 预备工作：启动集群的HDFS与Spark HDFS上的单词文件 - 设置项目信息（项目名称、保存位置、组编号以及项目编号） 单击【Finish】按钮将目录改成目录 .
spark的学习（1）之使用spark进行WordCount词数统计
洒家
03-21 1170
Spark是一种由scala编写的快速、通用、可扩展的大数据分析引擎 1、简单介绍 下面是对spark的简单介绍，嗯，主要就是说下spark有多好多好的，不想看的可以直接去第二步 特点 1）快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。 2）易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用
Spark 统计单词个数（WordCount）
lyl15941617899的博客
12-05 5290
demo需求：统计每个单词出现的个数。  统计文件   Spark.txt hello word hello spark hello hadoop 思路： textFile：读取文件 flatMap：将每行单词按空格分开 mapToPair：把每个单词后面加上一个数量组成 reduceByKey：将相同的单词后面数量相加 foreach：打印   import java.u...
spark 的第一个程序 WordCount（详细注释版）
哪惧明天，风高路斜
10-03 1073
文章目录思路代码将每一个步骤的结果进行打印 思路和代码来自 尚硅谷的spark教程 思路 代码 package com.my.bigdata.spark import org.apache.spark.{SparkConf, SparkContext} /** * Description wordCount, 单词统计 */ object WordCount { def main(args: Array[String]): Unit = { // Application //
Spark实战：单词统计
叶为正的博客
02-19 3165
WordCount程序 首先看来一个快速入门案例，单词计数 这个需求就是类似于我们在学习MapReduce的时候写的案例 需求这样的：读取文件中的所有内容，计算每个单词出现的次数 这个需求就没什么好分析的了，咱们之前在学习MapReduce的已经分析过了，接下来就来看一下使用 Spark需要如何实现。 Scala代码开发 这里先使用Scala开发，sdk版本为：scala-2.11.12 以下为配置scala sdk与scala开发目录的步骤： 开发环境配置完毕 最后需要添加Spark的maven依赖
Spark的灵魂：RDD和DataSet
06-29
本课重点讲解Spark 的灵魂RDD 和DataSet。讲解RDD 的定义、五大特性剖析及DataSet的定义和内部机制剖析；对RDD 弹性特性七个方面进行解析；讲解RDD 依赖关系，包括窄依赖、宽依赖； 解析Spark 中DAG 逻辑视图；对RDD...
playing-with-spark-rdd:Apache Spark RDD示例
03-21
玩火花rdd Apache Spark RDD示例示例，用于学习Spark RDD和DataSet API。
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
hbase-rdd：Spark RDD从HBase读取，写入和删除
sparkRDD函数大全
02-28
spark rdd函数大全。spark rdd操作为core操作，虽然后续版本主要以dataset来操作，但是rdd操作也是不可忽略的一部分。
Spark RDD详解
01-07
Spark与Apache Hadoop有何关系？ Spark是与Hadoop数据兼容的快速通用处理引擎。它可以通过YARN或Spark的Standalone在Hadoop集群中运行，并且可以处理HDFS、Hbase、Cassandra、Hive和任何Hadoop InputFormat中的数据...
Spark -- RDD简单操作【统计文本中单行最大单词数】
热门推荐
Appleyk的专栏
10-18 10万+
  一 、什么是RDD ？            RDD在Spark【Scala语言】中，是一种数据结构【基于内存，可持久化】，就好比Java的ArrayList一样，可以进行各种的Action操作，比如Java中的List集合，可以进行get【获取元素】、add【增加元素】、remove【移除元素】等操作；          当然，Scala语言底层实现是基于JVM的，即Scala兼容J...
Spark入门（2）-Spark-Shell WordCount 单词统计
梦里蓝天
09-01 1047
Spark-shell 是 Spark 给我们提供的交互式命令窗口，类似Linux的shell命令窗口。 启动spark 进入spark安装包，右键选择【在终端中打开】，使用的深度Linux系统。 输入启动命令： ./bin/spark-shell 可以通过IP：端口的形式查看spark web。 制作2个英文单词文件 我们就以spark启动的日志制作2个因为单词文件test1.txt于test2.txt。 Using Spark's default log4j profile: org/apache/
用spark实现单词统计
大数据
12-03 5804
import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * 用spark实现单词统计 */ object SparkWorkCount { def main(args: Array[String]): Unit = { /* 1.创建sparkC...
5.7 Spark简单算子案例（Python版）
weixin_46561163的博客
01-02 5626
第一关 WordCount - 词频统计 编程要求 对文本文件内的每个单词都统计出其出现的次数。 按照每个单词出现次数的数量，降序排序。 文本文件内容如下（单词与单词之间以空格进行分割）： hello java hello python java hello python python hello flink scala scala scala scala scala 预期输出： (scala,5) (hello,4) (python,3) (java,2...
spark使用RDD进行词频统计
最新发布
11-03
Spark使用RDD进行词频统计的步骤如下： 1.创建SparkConf和SparkContext对象。 ```scala import org.apache.spark.{SparkConf, SparkContext} val conf = new SparkConf().setAppName("WordCount").setMaster(...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值