Spark大数据SparkRDD案例

已于 2023-06-02 08:11:11 修改
阅读量527 收藏 11
点赞数 1
分类专栏： Spark 文章标签： spark 大数据 scala
于 2023-05-10 12:03:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/new_renren/article/details/130596972
版权

文章目录

零、学习目标

1.利用RDD计算总分和平均分
2.利用RDD统计每日新增用户
3.利用RDD实现分组排行榜

pom.xml 文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.dw.rdd</groupId>
    <artifactId>SparkRDDDemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.3.2</version>
        </dependency>

    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
    </build>
</project>

hdfs-site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <description>only config in clients</description>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
    </property>
</configuration>

请添加图片描述## 如果没有这个文件，访问不到hdfs上的文件

一、利用RDD计算总分和平均分

准备文件

–在home上准备scores.txt文件

请添加图片描述

–在上传到hdfs并创建 scoresumavg目录再在里面创建input目录，再把scores.txt文件上传到input目录下

[root@master home]# hdfs dfs -mkdir -p /scoresumavg/input
[root@master home]# hdfs dfs -put scores.txt /scoresumavg/input
[root@master home]# hdfs dfs -cat /scoresumavg/input/scores.txt
张钦林 78 90 76
陈燕文 95 88 98
卢志刚 78 80 60

实现.利用RDD计算总分和平均分

–打开IEAD

–添加pom.xml依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.dw.rdd</groupId>
    <artifactId>SparkRDDDemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.3.2</version>
        </dependency>

    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
    </build>
</project>

–新建一个rdd6包

请添加图片描述

–rdd6包里创建CalculateSunAvg对象

请添加图片描述

package net.dw.rdd6

import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable.ListBuffer


/**
 * 计算总分和平均分
 */

object CalculateSunAvg {

  def main(args: Array[String]): Unit = {

    //创建Spark对象
    val conf = new SparkConf()
      .setAppName("CalculateSunAvg") //设置应用名称
      .setMaster("local[*]") //设置主节点的位置
    //基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)


    //读取文件，生成rdd
    val lines = sc.textFile("hdfs://master:9000/scoresumavg/input/scores.txt")

    val scores = new ListBuffer[(String, Int)]()

    // 遍历lines，填充二元组成绩列表
    lines.collect.foreach(line => {
      val fields = line.split(" ")
      scores += Tuple2(fields(0), fields(1).toInt)
      scores += Tuple2(fields(0), fields(2).toInt)
      scores += Tuple2(fields(0), fields(3).toInt)
    })
      //基于二元组成绩列表创建rdd
    val rdd = sc.makeRDD(scores)
    //对于rdd进行规约得到rdd1,计算总分
    val rdd1  = rdd.reduceByKey(_ + _ )
    //将rdd1映射成rdd2计算总分和平均分
    val rdd2 = rdd1.map(s => (s._1,s._2,((s._2 / 3.0).formatted("%.2f"))))
    //输出到控制台
    rdd1.collect.foreach(println)
    rdd2.collect.foreach(println)


    //保存到hdfs
//    rdd2.saveAsTextFile("hdfs://master:9000/scoresumavg/output")

  }

}

请添加图片描述

请添加图片描述

请添加图片描述

二、利用RDD统计每日新增用户

0.问题已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名。`2023-05-01,mike

2023-05-01,alice
2023-05-01,brown
2023-05-02,mike
2023-05-02,alice
2023-05-02,green
2023-05-03,alice
2023-05-03,smith
2023-05-03,brian
`

–现需要根据上述数据统计每日新增的用户数量，期望统计结果。

0.1思路

–使用倒排索引法，若将用户名看作关键词，访问日期看作文档ID，则用户名与访问日期的映射关

–若同一个用户对应多个访问日期，则最小的日期为该用户的注册日期，即新增日期，其他日期为重复访问日期，不应统计在内。因此每个用户应该只计算用户访问的最小日期即可。如下图所示，将每个用户访问的最小日期都移到第一列，第一列为有效数据，只统计第一列中每个日期的出现次数，即为对应日期的新增用户数。

2023-05-01新增用户数：3
2023-05-02新增用户数：1
2023-05-03新增用户数：2

1. 在spark shell 上完成

（1）文件准备,users.txt

2023-05-01,mike
2023-05-01,alice
2023-05-01,brown
2023-05-02,mike
2023-05-02,alice
2023-05-02,green
2023-05-03,alice
2023-05-03,smith
2023-05-03,brian

(2)上传到HDFS hdfs dfs -put users.txt /text

请添加图片描述

（3）查看hdfs上的文件 hdfs dfs -cat /text/users.txt

请添加图片描述

（4）启动Spark Shell

请添加图片描述

（5）读取文件，得到RDD

– val rdd1 = sc.textFile(“hdfs://master:9000/text/users.txt”)

请添加图片描述

（6）倒排，互换RDD中元组的元素顺序

val rdd2 = rdd1.map(
   line => {
     val fields = line.split(",")
      (fields(1), fields(0))
   }
)
rdd2.collect.foreach(println)

请添加图片描述

(7)倒排后的RDD按键分组

– 执行命令：val rdd3 = rdd2.groupByKey()

请添加图片描述

(8) 取分组后的日期集合最小值，计数为1

请添加图片描述

(9)按键计数，得到每日新增用户数

– val result = rdd4.countByKey()

– 执行命令：result.keys.foreach(key => println(key + “新增用户：” + result(key)))

请添加图片描述

(10)让输出结果按日期升序

– 映射不能直接排序，只能让键集转成列表之后先排序，再遍历键集输出映射
–** 执行命令：val keys = result.keys.toList.sorted，让键集升序排列（日期升序）**

请添加图片描述

2.在ldea 上完成

package net.dw.rdd6

import org.apache.spark.{SparkConf, SparkContext}

object CountNewUsers {
  def main(args: Array[String]): Unit = {
    //创建Spark对象
    val conf = new SparkConf()
      .setAppName("CountNewUsers") //设置应用名称
      .setMaster("local[*]") //设置主节点的位置
    //基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    //读取文件生成rdd
    val rdd1 = sc.textFile("hdfs://master:9000/text/users.txt")
    rdd1.foreach(println)
    // 倒排，互换RDD中元组的元素顺序
    val rdd2 = rdd1.map(
      line => {
        val fields = line.split(",")
        (fields(1), fields(0))
      }
    )
    rdd2.foreach(println)
    // 倒排后的RDD按键分组
    val rdd3 = rdd2.groupByKey()
    rdd3.foreach(println)
    // 取分组后的日期集合最小值，计数为1
    val rdd4 = rdd3.map(line => (line._2.min, 1))
    rdd4.foreach(println)
    // 按键计数，得到每日新增用户数
    val result = rdd4.countByKey()
    result.keys.foreach(key => println(key + "新增用户数" + result(key)))
    println("按日期排序后")
    // 让统计结果按日期升序
    val keys = result.keys.toList.sorted
    //    result.keys.foreach(key => println(key + "新增用户数" + result(key)))
    keys.foreach(key => println(key + "新增用户数" + result(key)))
    sc.stop()
  }

}

请添加图片描述

请添加图片描述

如何降序？

（1定义一个MyOdering）并继承Ordering[String]
class MyOdering extends Ordering[String]{
  override def compare(x: String, y: String): Int = {
    y.compareTo(x)//compareTo 自带的一种排序 y.compareTo(x) 降序  x.compareTo(y) 升序

  }


}

请添加图片描述

然后在刚刚的代码里做一个小小的修改就好了，在sorted( new MyOdering)

请添加图片描述

再次运行就是降序排序了

请添加图片描述

完整代码如下
package net.dw.rdd6

import org.apache.spark.{SparkConf, SparkContext}

object CountNewUsers {
  def main(args: Array[String]): Unit = {
    //创建Spark对象
    val conf = new SparkConf()
      .setAppName("CountNewUsers") //设置应用名称
      .setMaster("local[*]") //设置主节点的位置
    //基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    //读取文件生成rdd
    val rdd1 = sc.textFile("hdfs://master:9000/text/users.txt")
    rdd1.foreach(println)
    // 倒排，互换RDD中元组的元素顺序
    val rdd2 = rdd1.map(
      line => {
        val fields = line.split(",")
        (fields(1), fields(0))
      }
    )
    rdd2.foreach(println)
    // 倒排后的RDD按键分组
    val rdd3 = rdd2.groupByKey()
    rdd3.foreach(println)
    // 取分组后的日期集合最小值，计数为1
    val rdd4 = rdd3.map(line => (line._2.min, 1))
    rdd4.foreach(println)
    // 按键计数，得到每日新增用户数
    val result = rdd4.countByKey()
    result.keys.foreach(key => println(key + "新增用户数：" + result(key)))
    println("按日期排序后")
    // 让统计结果按日期升序
    val keys = result.keys.toList.sorted(new MyOdering)//降序排列
    //    result.keys.foreach(key => println(key + "新增用户数" + result(key)))
    //如果要降序
    keys.foreach(key => println(key + "新增用户数：" + result(key)))
    sc.stop()
  }



class MyOdering extends Ordering[String]{
  override def compare(x: String, y: String): Int = {
    y.compareTo(x)//compareTo 自带的一种排序 y.compareTo(x) 降序  x.compareTo(y) 升序

  }


}

}

三、利用RDD实现分组排行榜

0问题：分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。

0.1数据如下

张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98

期望格式

–同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩，期望输出结果如下所示

张三丰：94 90 87
李孟达：88 85 82
王晓云：98 97 93

思路：使用Spark RDD的groupByKey()算子可以对(key, value)形式的RDD按照key进行分组，key相同的元素的value将聚合到一起，形成(key, value-list)，将value-list中的元素降序排列取前N个即可。

1.在spark shell上完成

（1）文件准备并上传到hdfs

请添加图片描述

（2）读取文件生成RDD

请添加图片描述

（3）利用映射算子生成二元组构成的RDD

val grades = lines.map(line => {
          val fields = line.split(" ")
          (fields(0), fields(1))
        })
grades.collect.foreach(println)

请添加图片描述

（4）按键分组得到新的二元组构成的RDD

–执行命令：val groupGrades = grades.groupByKey()

请添加图片描述
）

（5）按值排序，取前三

val top3 = groupGrades.map(item => {
          val name = item._1
          val top3 = item._2.toList.sortWith(_ > _).take(3)
          (name, top3)
        })
top3.collect.foreach(println)

请添加图片描述

（6）按指定格式输出结果

top3.collect.foreach(line => {
      val name = line._1
      var scores = ""
      line._2.foreach(score => scores = scores + " " + score)
      println(name + ":" + scores)
})

请添加图片描述

2.在ldea上完成

（1）新建GradeTopN对象

package net.dw.rdd6

import org.apache.spark.{SparkConf, SparkContext}

object GradeTopN {
  def main(args: Array[String]): Unit = {

    //创建Spark对象
    val conf = new SparkConf()
      .setAppName("GradeTopN") //设置应用名称
      .setMaster("local[*]") //设置主节点的位置
    //基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)

    //读取hdfs上的文件，生成rdd
    val lines = sc.textFile("hdfs://master:9000/text/grades.txt")
    lines.foreach(println)
    //使用映射算子生成二元组
    val grades = lines.map(line =>{
      val fields = line.split(" ")
      (fields(0),fields(1))

    })
    grades.foreach(println)
    val groupGrades = grades.groupByKey()
    groupGrades.foreach(println)
    //按值排序取前三个
    val top3 = groupGrades.map(item =>{
      val name = item._1
      val top3 = item._2.toList.sortWith(_>_).take(3)
      (name,top3)
    } )
    top3.foreach(println)
    //按指定格式
    top3.foreach(line =>{
      val name = line._1
      var scores = line._2.mkString(" ")
//      line._2.foreach(score => scores = scores + " " + score)
      println(name + ":" +scores)

    })



  }


}

请添加图片描述

（2）运行得到结果

请添加图片描述

遇到的问题

在读取文件的发现任务丢失还有索引越界
请添加图片描述

解决

发现是在准备文件时多了一个换行
请添加图片描述
删除这个换行就解决了这个问题了

请添加图片描述

dddd_疾
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【spark床头书系列】Spark RDD原理方法示例源码详解
wang2leee的博客
09-22 82
Spark RDD（Resilient Distributed Datasets）最初由Matei Zaharia等人在UC Berkeley的AMPLab研究组开发，并于2010年首次在Spark项目中引入。在当时，大数据处理框架主要基于两种模型：分布式文件系统（如HDFS）和批量处理模型（如MapReduce）。然而，这些模型存在一些限制，例如高延迟、磁盘IO开销和无法适应交互式数据处理等问题。为了解决这些问题，Spark团队设计了RDD作为Spark的核心数据抽象。RDD提供了一种高效、易用且可扩展的
spark常用RDD介绍及Demo
踏云追月
06-02 1426
Transformation： map(func): Return a new distributed dataset formed by passing each element of the source through a function func. val list=sc.parallelize(List(('a',1),('a',2),('b',3),('b',4)))
Spark RDD算子
梁辰兴的博客
06-05 703
例如，rdd1的元素以(k,v)表示，rdd2的元素以(k, w)表示，进行左外连接时将以rdd1为基准，rdd2中的k与rdd1的k相同的元素将连接到一起，生成的结果形式为(k, (v, Some(w))。例如，rdd1的元素以(k, v)表示，rdd2的元素以(k, w)表示，执行rdd1.cogroup(rdd2)生成的结果形式为(k, (Iterable, Iterable))。fullOuterJoin()算子与数据库的全外连接类似，相当于对两个RDD取并集，两个RDD的记录都会存在。
【年度案例】大数据盘点之Spark篇
weixin_45583158的博客
01-07 469
编者按：高可用架构推出 2015 年度案例系列文章，分享在架构领域具有典型意义的年度案例，本文由谭政分享。转载请注明来自高可用架构公众号「ArchNotes」。谭政，Hu...
大数据之Spark案例实操完整使用(第六章)
小坏说后端
06-27 2547
上面的数据图是从数据文件中截取的一部分内容，表示为电商网站的用户行为数据，主要包含用户的 4 种行为：搜索，点击，下单，支付。数据规则如下：➢ 数据文件中每行数据采用下划线分隔数据➢ 每一行数据表示用户的一次行为，这个行为只能是 4 种行为的一种➢ 如果搜索关键字为 null,表示数据不是搜索数据➢ 如果点击的品类 ID 和产品 ID 为-1，表示数据不是点击数据➢ 针对于下单行为，一次可以下单多个商品，所以品类 ID 和产品 ID 可以是多个，id 之间采用逗号分隔，如果本次不是下单行为，则数据采用 nu
spark大数据案例
11-12
《Spark大数据案例详解》 Spark，作为大数据处理领域的重要框架，以其高效、易用和弹性扩展的特性，深受开发者喜爱。本资料集包含了Spark在Core、SQL和Stream处理方面的实战案例，旨在帮助读者深入理解Spark的各类...
大数据spark实验报告
05-12
**大数据Spark实验报告** 在大数据领域，Spark作为一个高效、易用且可扩展的分布式计算框架，扮演着至关重要的角色。本实验报告旨在深入探讨Spark在处理大规模数据时的关键特性和功能，通过实际操作来理解其工作...
摸鱼大数据-Spark Core-RDD综合案例
06-23
点击流数据源
46488_Spark大数据技术与应用_习题数据和答案.rar
07-03
《Spark大数据技术与应用》是一本深入探讨Apache Spark在大数据处理领域的专著。习题数据和答案的提供，旨在帮助读者更好地理解和掌握书中的概念、技术和实战应用。在这个压缩包中，包含了书中不同章节的习题及对应...
摸鱼大数据-Spark Core-RDD综合案例-搜狗搜索流
最新发布
06-23
搜狗搜索流
Spark最全操作完整示例代码
08-03
最全Spark操作完整示例代码-------是基于java的。 包含所有的spark常用算子操作和ml以及mlib、sparkstreaming、sparkSQL操作的示例DEMO。 内附有详细说明,由于内容过大删除了两个jar包,需要自己去下载,spark的安装包下的有这两个包，导入项目即可。懒得改maven项目了。 适合有一定基础和已经工作的人员下载学习。 个人Github: https://github.com/huangyueranbbc
大数据学习——spark运营案例
weixin_30570101的博客
06-12 200
iplocation需求 在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。 因此，我们需要通过日志信息（运行商或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。 练习数据 链接：https://pan.baidu.com/s/14IA1pzUWEnDK_VCH_LYR...
大数据之spark_spark的案例分析
WuBoooo的博客
09-18 4751
计算订单分类成交金额 需求 在给定的订单数据，根据订单的分类ID进行聚合，然后按照订单分类名称，统计出某一天商品各个分类的成交金额 数据样例 {“cid”: 1, “money”: 600.0, “longitude”:116.397128,“latitude”:39.916527,“oid”:“o123”, } “oid”:“o112”, “cid”: 3, “money”: 200.0, “longitude”:118.396128,“latitude”:35.916527} {“oid”:“o124”
图解大数据 | 综合案例-使用Spark分析挖掘音乐专辑数据
热门推荐
ShowMeAI研究中心
03-08 1万+
文娱影音是目前大数据与AI应用最广泛的场景之一，本案例以音乐专辑发行数据为背景，讲解使用pyspark对HDFS存储的数据进行处理数据分析的过程，并且对分析结果做了可视化呈现。
大数据-12-Spark+Kafka构建实时分析Dashboard
weixin_34360651的博客
05-10 848
转自 http://dblab.xmu.edu.cn/post/8274/ 0.案例概述 本案例利用Spark+Kafka实时分析男女生每秒购物人数，利用Spark Streaming实时处理用户购物日志，然后利用websocket将数据实时推送给浏览器，最后浏览器将接收到的数据实时展现，案例的整体框架图如下： 下面分析详细分析下上述步骤： 应用程序将购物日志发送给Kafka，topic为”s...
【计算机大数据毕设之基于spark+hadoop的大数据分析论文写作参考案例】
laoman456的博客
10-27 8089
【计算机大数据毕设之基于spark+hadoop的大数据分析论文写作参考案例-哔哩哔哩】https://b23.tv/zKOtd3L 目 录 一 引言​1 二 系统分析​2 2.1 必要性和可行性分析​2 2.2 技术分析​2 三 总体设计​4 3.1 可视化界面设计​4 3.2 数据库设计​4 3.3 网页设计​5 四 实验实现​6 4.1 大数据实验环境的搭建​6 4.1.1 Linux系统及相关软件的配置​6 4.1.2 JDK的安装​7 4.1.3 Scala的安装​
spark自带demo的详解
俺叫赵小邪的博客
11-21 6975
import scala.Tuple2;import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import
Spark编程:数据统计操作 RDD操作 2020.10.11
Beyond_Nothing
10-24 3044
某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 …… 请根据给定的实验数据，在 spark-shell 中通过编程来计算以下内容： （1）该系总共有多少学生； val rdd= sc.textFile("file:///usr/local/spark/mycode/Data01.txt") va
spark处理大数据实例
weixin_51992731的博客
01-05 720
def get_debt_rank(self): ''' 统计各年龄段债务情况（严重/不严重） :return: ''' all_list=[] bin = [0, 30, 45, 60, 75, 100] df_age_debt = df.select(df['age'], df['DebtRatio']) age_debt_y = [] for i i...
Spark大数据技术与应用教学大纲.pdf
10-30
《Spark大数据技术与应用》课程是专业基础课，旨在培养学生掌握Spark大数据计算框架的基本原理和使用，以及培养学生具备大数据思维与动手能力。通过本课程的学习，学生将了解大数据处理框架Spark的使用，为大数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值