Scala | Spark核心编程 | SparkCore | 算子

已于 2022-08-17 15:39:07 修改
阅读量621 收藏 2
点赞数 1
分类专栏： Spark 文章标签： spark 大数据
于 2022-07-21 23:18:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liujiesxs/article/details/125856912
版权

文章目录

一、SparkCore

1.RDD

1.1 概念

  RDD(Resilient Distributed Dataset) ，弹性分布式数据集。

1.2 RDD的五大属性（重点）
  1. RDD 是由一系列的 partition 组成的。
  2. 函数是作用在每一个 partition（split）上的。
  3. RDD 之间有一系列的依赖关系。
  4. 分区器是作用在 K，V 格式的 RDD 上。
  5. RDD 提供一系列最佳的计算位置，体现了大数据中“计算移动数据不移动”的理念。
1.3 RDD理解图

在这里插入图片描述
注意：

  • textFile 方法底层封装的是MR 读取文件的方式，读取文件之前先 split，默认 split 大小是一个 block 大小。

  • RDD 实际上不存储数据，这里方便理解，暂时理解为存储数据。

  • 什么是 K、V 格式的 RDD?
    如果 RDD 里面存储的数据都是二元组对象，那么这个 RDD 我们就叫做 K，V 格式的 RDD。

  • 哪里体现 RDD 的弹性？
    RDD 是由 一系列的partition 组成。其大小和数量都是可以改变的，默认情况下，partition的个数和block块个数相同，体现了 RDD 的弹性。

  • 哪里体现 RDD 的容错？
    RDD 之间存在依赖关系，子RDD可以找出对应的父RDD然后通过一系列计算得到相应结果，这就是容错的体现。

  • 哪里体现 RDD 的分布式？

    • RDD 是由 Partition 组成，partition 是分布在不同节点上的。
    • RDD 提供计算最佳位置，体现了数据本地化。体现了大数据中“计算移动数据不移动”的理念。

2.Spark任务执行原理

  以standalone模式为例，Standalone模式是Spark自带的一种集群模式，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。
在这里插入图片描述
以上图中有四个机器节点，Driver 和 Worker 是启动在节点上的进程，运行在 JVM 中的进程。其中：

  • Master角色以Master进程存在, Worker角色以Worker进程存在
  • Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行
  • Driver 与集群节点之间有频繁的通信。
  • Driver 负责任务(tasks)的分发和结果的回收。任务的调度。如果 task的计算结果非常大就不要回收了。会造成 oom。

这里只是做了简单介绍，更多可查看Spark四种运行模式介绍

3.Spark代码流程

  1. 创建 SparkConf 对象
    • 可以设置 Application name。
    • 可以设置运行模式及资源需求。
  2. 创建 SparkContext 对象
  3. 基于 SparkContext 即上下文环境对象创建一个 RDD，对 RDD 进行处理。
  4. 应用程序中要有 Action 类算子来触发 Transformation 类算子执行。
  5. 关闭 Spark 上下文对象。

二、算子

  常见的算子如下图所示，主要也分为如下几种：
在这里插入图片描述

1.Transformations转换算子

  Transformations 类算子是一类算子（函数）叫做转换算子，如map，flatMap，reduceByKey 等。Transformations 算子是延迟执行，也叫懒加载执行。

1.1 filter算子

  filter：过滤符合条件的记录数，true 保留，false 过滤掉。
Operator_filter.scala：

package com.shsxt.scalaTest.core.transform_operator

import org.apache.spark.{
   SparkConf, SparkContext}

object Operator_filter {
   
  def main(args: Array[String]): Unit = {
   
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("filter")
    val sc =  new SparkContext(conf)
    val lines = sc.textFile("data/word.txt")
    val result = lines.filter {
    _.indexOf("Spark") >= 0 }
    result.foreach {
    println}
    sc.stop()
  }
}

hello Spark
1.2 map算子

  map：将一个 RDD 中的每个数据项，通过 map 中的函数映射变为一个新的元素。
特点：输入一条，输出一条数据。

package com.shsxt.scalaTest.core.transform_operator

import org.apache.spark.{
   SparkConf, SparkContext}

object Operator_map {
   
  def main(args: Array[String]): Unit = {
   
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("map")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("data/word.txt")
    val result = lines.map {
    _.split(" ") }
    result.foreach(println)
    sc.stop()
  }
}

[Ljava.lang.String;@1c200b99
[Ljava.lang.String;@1ae41188
[Ljava.lang.String;@72a7be25
[Ljava.lang.String;@26de52e0
1.3 flatMap算子

   flatMap：先 map 后 flat。与 map 类似，每个输入项可以映射为 0 到多个输出项。

package com.shsxt.scalaTest.core.transform_operator

import org.apache.spark.{
   SparkConf, SparkContext}

object Operator_flatMap {
   
  def main(args: Array[String]): Unit = {
   
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("flatMap")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("data/word.txt")
    val result = lines.flatMap {
    _.split(" ")}
    result.foreach(println)
    sc.stop()
  }
}

hello
tiantian
hello
shsxt
hello
gzsxt
hello
Spark
1.4 sample算子

   sample：随机抽样算子，根据传进去的小数按比例进行有放回或者无放回的抽样。

package com.shsxt.scalaTest.core.transform_operator

import org.apache.spark.{
   SparkConf, SparkContext}

object Operator_sample {
   
  def main(args: Array[String]): Unit = {
   
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("sample")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("data/word.txt")
    lines.sample(true, 0.5,10).foreach(println)
  }
}

hello shsxt
1.5 reduceByKey算子

   reduceByKey：将相同的 Key 根据相应的逻辑进行处理。

package com.shsxt.scalaTest.core.transform_operator

import org.apache.spark.{
   SparkConf, SparkContext}

object Operator_reduceByKey {
   
  def main(args: Array[String]): Unit = {
   
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("reduceByKey")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("data/word.txt")
    val flatMap = lines.flatMap {
    _.split(" ")}
    val map = flatMap.map {
   (_,1)}
    map.reduceByKey(_+_).foreach(println)
    sc.stop()
  }
}

(Spark,1)
(shsxt,1)
(tiantian,1)
(hello,4)
(gzsxt,1)
1.6 sortByKey与sortBy算子

   sortByKey/sortBy：作用在 K、V 格式的 RDD 上，对 key 进行升序或者降序排序。

package com.shsxt.scalaTest.core.transform_operator

import org.apache.spark.{
   SparkConf, SparkContext}

object Operator_sortByKey {
   
  def main(args: Array[String]): Unit = {
   
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("sortByKey")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("data/word.txt")
    val reduceResult = lines.flatMap {
    _.split(" ")}.map {
    (_,1)}.reduceByKey(_+_)
    reduceResult.map(f => {
   (f._2,f._1)}).sortByKey(false).map(f => {
   (f._2,f._1)}).foreach(println)
    
    sc.stop()
  }
}

(hello,4)
(Spark,1)
(shsxt,1)
(tiantian,1)
(gzsxt,1)

package com.shsxt.scalaTest.core.transform_operator

import org.apache.spark.{
   SparkConf, SparkContext}

object Operator_sortBy {
   
  def main(args: Array[String]): Unit = {
   
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("sortBy")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("data/word.txt")
    val reduceResult = lines.flatMap {
    _.split(" ")}.map{
    (_,1)}.reduceByKey(_+_)
    val result = reduceResult.sortBy(_._2,false)
    result.foreach{
   println}
    sc.stop()

  }
}

(hello,4)
(Spark,1)
(shsxt,1)
(tiantian,1)
(gzsxt,1)
1.7 join算子

   join算子：作用在 K,V 格式的 RDD 上。根据 K 进行连接，对（K,V）join(K,W)返回（K,(V,W)）

  • leftOuterJoin算子
  • rightOuterJoin算子
  • fullOuterJoin算子

注意：join 后的分区数与父 RDD 分区数多的那一个相同。

package com.shsxt.scalaTest.core.transform_operator

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

object Operator_Join {
   

    def main(args: Array[String]): Unit = {
   

        val conf = new SparkConf()
        conf.setMaster("local").setAppName("flatMap")
        val sc = new SparkContext(conf)

        val rdd1 = sc.parallelize(
            Array(("a",1),("b",2),("c",3)),
            3
        )

        val rdd2 = sc.parallelize(
            Array(("a",1),("d",2),("e",3)),
            2
        )

        val result1: RDD[(String, (Int, Int))] = rdd1.join(rdd2)
最低0.47元/天 解锁文章
幼稚的人呐
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Scala | Spark基础入门 | IDEA配置 | 集群搭建与测试
liujiesxs的博客
07-18 889
spark环境配置及IDEA配置，Spark入门
Scala语言与spark常用函数使用说明
h_adint的博客
05-16 571
map()
第二篇|Spark core编程指南
jmx_bigdata的博客
07-23 213
在《第一篇|Spark概览》一文中，对Spark的整体面貌进行了阐述。本文将深入探究Spark的核心组件–Spark core，Spark Core是Spark平台的基础通用执行引擎，所有其他功能均建立在该引擎之上。它不仅提供了内存计算功能来提高速度，而且还提供了通用的执行模型以支持各种应用程序，另外，用户可以使用Java，Scala和Python API开发应用程序。Spark core是建立在统一的抽象RDD之上的，这使得Spark的各个组件可以随意集成，可以在同一个应用程序中使用不同的组件以完成复杂的
CC00024.spark——|Hadoop&Spark.V12|——|Spark.v12|sparkcore|算子综合案例&找共同好友|
yanqi_vip
04-12 143
一、算子综合案例&找共同好友 ### --- 找共同好友 ~~~ 第一列表示用户，后面的表示该用户的好友 ~~~ # 原始数据： 100, 200 300 400 500 600 200, 100 300 400 300, 100 200 400 500 400, 100 200 300 500, 100 300 600, 100 ### --- 案例需求...
第三篇|Spark SQL编程指南
jmx_bigdata的博客
07-29 322
在《第二篇|Spark Core编程指南》一文中，对Spark的核心模块进行了讲解。本文将讨论Spark的另外一个重要模块–Spark SQL，Spark SQL是在Shark的基础之上构建的，于2014年5月发布。从名称上可以看出，该模块是Spark提供的关系型操作API，实现了SQL-on-Spark的功能。对于一些熟悉SQL的用户，可以直接使用SQL在Spark上进行复杂的数据处理。通过本文，你可以了解到： Spark SQL简介 DataFrame API&DataSet API Cata
Spark概述及Scala搭建操作步骤
xidiexi的博客
03-07 939
现在Apache Spark已经形成一个丰富的生态圈，包括官方和第三方开发的组件或工具。Spark生态圈也称为伯克利数据分析栈，由AMPLab打造，是致力于在算法，机器，人之间通过大规模集成展现大数据应用的平台。1.Spark Core：spark的核心，提供底层框架及核心支持。2.BlinkDB:一个用于在海量数据上进行交互式SQL查询的大规模并进行查询引擎，允许用户通过权衡数据精度缩短查询响应时间，数据的精度将被控制在允许的误差范围内。
spark编程基础(算子详解)
lb634774742的博客
12-27 1355
包括spark的简介、安装启动等基本介绍 对RDD及相关概念的解析 对Transformation算子和action算子的详细介绍
CC00015.spark——|Hadoop&Spark.V03|——|Spark.v03|sparkcore|RDD编程&sparkcontext创建|
yanqi_vip
04-12 89
一、设置spark-standalone集群非HA模式 ### --- 修改配置文件 [root@hadoop02 ~]# vim $SPARK_HOME/conf/spark-env.sh export JAVA_HOME=/opt/yanqi/servers/jdk1.8.0_231 export HADOOP_HOME=/opt/yanqi/servers/hadoop-2.9...
spark core编程
weixin_46305053的博客
04-20 2831
一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法 二、实验平台 操作系统：window 10 三、实验内容和要求 1、Spark RDD实现单词计数（见课本107） 2、Spark RDD 实现分组求TopN （见课本116） 3、Spark RDD 实现二次排序 （见课本120） 4、Spark RDD 计算平均成绩 （见课本124） 5、Spark RDD 倒排索引统计每日新增用户（见课本126） 6
Spark3——核心编程
qq_42873479的博客
04-01 1725
Spark核心编程Spark核心编程行动算子序列化RDD依赖关系RDD持久化RDD分区器RDD文件读取与保存 Spark核心编程 行动算子 （1）reduce 聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据。 （2）collect 在驱动程序中，以数组 Array 的形式返回数据集的所有元素。 （3）count 返回 RDD 中元素的个数。 （4）first 返回 RDD 中的第一个元素。 （5）take 返回一个由 RDD 的前 n 个元素组成的数组。 （6）takeOrdered 返回该
Scala和Spark大数据分析函数式编程、数据流和机器学习
04-23
Spark的核心组件包括：Spark Core（基础执行引擎）、Spark SQL（用于SQL查询和数据集成）、Spark Streaming（处理实时数据流）、MLlib（机器学习库）和GraphX（图形处理库）。Spark提供了一种统一的编程模型，可以...
Linux中Scala和Spark安装
05-31
### Linux中Scala和Spark安装教程 #### Scala安装步骤详解 在深入探讨如何在Linux系统上安装Scala和Spark之前，我们首先需要确保系统已正确安装了JDK，因为Scala和Spark都依赖于Java运行环境。 ##### 步骤1：安装...
Spark常用的算子以及Scala函数总结.pdf
05-17
Spark RDD 算子说明，分别讲述了Transformation和Action这两类的算子。
基于Scala的Spark学习项目设计源码
04-04
项目包含95个文件，主要使用Scala和Java编程语言。文件类型包括80个Scala源代码文件、4个XML配置文件、3个TXT文档、2个Markdown文档、2个Java源代码文件、1个GIT忽略文件、1个日志文件、1个JSON配置文件和1个...
基于Java和Scala的Spark基础教程配套源码
04-06
本项目是一个基于Java和Scala语言开发的Spark基础教程配套源码，包含55个文件，主要文件类型包括Java源代码、Scala源代码、XML配置文件、日志文件、Git忽略文件、LICENSE文件和Idea配置文件。系统设计旨在为学习...
Spark-第三周
最新发布
fighting_DW
08-03 299
Spark 源码（7） - SparkContext 初始化 源码分析_太与旅 spark源码-CSDN博客Spark源码学习(一)：SparkContext初始化源码分析_spark initialize-CSDN博客spark 提交job运行流程_请详述spark核心执行流程,如何使用sparksubmit在客户端提交job后如何通过standa-CSDN博客spark提交任务的三种的方法_spark提交任务的几种方式-CSDN博客Spark 内核调度之DAG_spark dag-CSDN博客Spark
hive的内部表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别
qq_58462591的博客
08-01 266
外部表：外部表的存储在hdfs中，是我们指定的文件目录，当我们删除数据或者删除分区的时候不会将元数据删除，数据还会在hdfs目录中，我们还可以进行数据挂载。内部表：内部表的存储是在hdfs的默认目录下，当我们删除数据或者删除分区的时候会将元数据删除，数据文件也会被删除。运行指令找到table_type 如果为MANAGED_TABLE，那就是内部表，内部表和外部表的主要区别在于数据的存储方式。如果是EXTERNAL_TABLE,那就是外部表。
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 656
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
Scala与Spark：探索分布式编程的新境界
学习Scala的一个重要原因是它是Apache Spark的核心语言。Spark作为大数据处理的明星框架，以其高效、易用和灵活性受到广泛欢迎。通过Scala，开发者可以编写出简洁且高效的Spark应用程序，处理大规模数据任务。同样，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

幼稚的人呐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值