Spark入门(二)

最新推荐文章于 2024-11-11 20:11:53 发布
最新推荐文章于 2024-11-11 20:11:53 发布
阅读量422 收藏 1
点赞数 1
分类专栏： Spark 文章标签： spark scala big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QuietHRH/article/details/84781899
版权

1、RDD概述

1.1 什么是RDD
  • RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。
    • Dataset:它是一个集合，集合里面有很多个元素
    • Distributed：rdd中的数据是进行了分布式存储，后期方便于进行分布式计算。
    • Resilient：弹性，意味着rdd的数据可以保存在内存或者是磁盘中。
1.2 RDD的五大属性

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-emUJjCHH-1634301972674)(基于单词统计来剖析RDD的五大属性.png)]

(1) A list of partitions
一个分区列表
	它表示一个rdd中有很多个分区，后期spark任务的计算是以分区为单位进行计算。一个分区就对应上一个task线程。
	val rdd=sc.textFile(文件)
	val rdd=sc.textFile(文件,parNums)
	该文件的block个数小于等于2，这个时候rdd的分区数就是2
	该文件的block个数大于2，  这个时候rdd的分区数就跟block个数相等
	
	

(2) A function for computing each split
  作用在每一个分区中的函数
  var rdd2=rdd1.map(x=>(x,1))


(3) A list of dependencies on other RDDs
  一个RDD会依赖于其他多个RDD，这里就涉及到RDD与RDD之间的依赖关系，后期spark任务的容错机制就是根据这个特性而来。
   var rdd2=rdd1.map(x=>(x,1))

(4) Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
    (可选性) 一个分区函数，针对于一个kv类型的RDD才会有分区函数（必须要产生shuffle）。对于不是kv类型的RDD,它的分区函数是None. 
    spark提供了2种shuffle机制，
    第一种默认值：hashPartitioner ------->  key.hashcode % 分区数=分区号
    第二种RangePartitioner： 基于一个范围的分区策略。


(5) Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
    (可选性)   一个优先的数据分区列表，这里就涉及到数据本地性和数据位置最优。
    spark后期再进行任务分配的时候，会优先考虑存有数据的worker节点来进行任务的计算。
1.3 创建RDD
  • 1、通过一个已经存在的scala集合去构建
    • val rdd1=sc.parallelize(List(1,2,3,4),2)
  • 2、通过加载外部的数据源去构建
    • val rdd2=sc.textFile("/words.txt")
  • 3、通过一个已经存在的rdd去构建
    • val rdd3=rdd2.flatMap(x=>x.split(" "))

2、RDD中算子操作

  • rdd中算子一共可以分为2类

  • transformation（转换）

    • 它是一个转换，可以实现把一个rdd转换生成一个新的rdd，它不会立即触发任务的运行，它是延迟加载。
      • 它只是记录下作用在rdd的上转换操作
      • 比如
        • flatMap/map/reduceByKey/sortBy

  • action （动作）

    • 它会触发任务的真正运行

      • 比如

        • collect/saveAsTextFile

3、RDD的依赖关系

在这里插入图片描述

  • rdd与rdd之间有依赖关系

    • 窄依赖
      • 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用
        总结：窄依赖我们形象的比喻为独生子女
      • 窄依赖不会产生shuffle
    • 宽依赖
      • 宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition
        总结：宽依赖我们形象的比喻为超生
      • 宽依赖会产生shuffle

4、lineage(血统)

  • rdd后期会进行大量的转换操作，我们把rdd的这些操作行为记录下来，记录下来的信息我们就称为lineage（血统）
  • 血统好处
    • 当前某一个rdd的分区数据丢失了，可以通过血统这一层关系来重新计算恢复得到。
    • 这里spark的任务容错机制就是根据血统而来。

5、RDD的缓存机制

5.1 RDD的缓存是什么
  • 可以把一个rdd的结果数据进行缓存，后续有其他的job需要依赖于前面rdd的结果数据，这个时候可以直接从缓存中获取得到，避免重复计算。
5.2 如何设置缓存
  • rdd中提供了设置缓存的2种方式
    • cache:默认是将数据缓存在内存中，其本质是调用persist方法
    • persist:可以把数据缓存内存或者是磁盘中，它里面可以设置丰富的缓存级别，这些缓存级别都封装在一个object 中，这个object的名称Storagelevel
  • 以上这个2个方法并不是调用之后就立即执行，后续是需要一个action操作，才会触发缓存真正执行。
5.3 如何清除缓存
  • 手动清除
    • 调用rdd的unpersist 清除缓存数据：rdd1.unpersist(true)
  • 自动清除：对于程序来说，如果我们设置了缓存，后期程序结束了，它会自动清除
5.4 什么时候设置缓存
  • 1、一个rdd后期被使用了多次
    • val rdd2=rdd1.flatMap(_.split(" "))
    • val rdd3=rdd1.map(x=>(x,1))
    • 上面的rdd1被使用了多次，每一次使用都需要先把rdd1的结果数据先计算一下，这个时候就可以对rdd1设置缓存，避免后续的rdd需要前面的结果。
  • 2、某一个rdd的数据来之不易 是经过多个转换而来
    • val rdd2=rdd1.flatMap(_.split(" ")).map().xxxxx.xxxxxxx.xxxxxxx.xxxxxxx.xxx.xxx

6、DAG有向无环图和划分stage

6.1 什么是DAG

  • DAG就是按照rdd的一系列操作最后生成了一个有方向无闭环的图，这个图我们就称为DAG有向无环图。

    按照操作逻辑划分成不同的stage(不同的调度阶段)

在这里插入图片描述

在这里插入图片描述

7、spark任务调度

在这里插入图片描述

（1）Driver会运行客户端main方法中的代码，代码就会构建SparkContext对象，在构建SparkContext对象中，会创建DAGScheduler和TaskScheduler，然后按照rdd一系列的操作生成DAG有向无环图。最后把DAG有向无环图提交给DAGScheduler。

（2）DAGScheduler拿到DAG有向无环图后，按照宽依赖进行stage的划分，这个时候会产生很多个stage，每一个stage中都有很多可以并行运行的task，把每一个stage中这些task封装在一个taskSet集合中，最后提交给TaskScheduler。

（3）TaskScheduler拿到taskSet集合后，依次遍历每一个task，最后提交给worker节点的exectuor进程中。task就以线程的方式运行在worker节点的executor进程中。

8、spark的容错机制之checkpoint

什么是checkpoint
  • cache
    • 默认是把数据缓存在内存中，后续操作起来速度比较快
    • 但是由于进程或者是服务器挂掉了，这个时候内存中的数据肯定是丢失，也就是说cache不是非常安全，数据丢失的概率比较大。
  • persist
    • 有丰富的缓存级别，可以把数据缓存在磁盘中，然后需要用到该数据，可以进行磁盘io操作获取得到，这一点比cache速度会慢点，但是比cache安全点
    • 这里同样也有数据丢失的可能性（磁盘损坏、系统管理员由于误操作把本地数据清除掉了）
  • checkpoint
    • 它是提供了一个相对而言更加可靠的持久化数据的方式
    • 它可以把rdd的数据写入到分布式文件系统（HDFS）去保存，利用了hdfs高可靠，多个副本机制最大程度保证数据不丢失。
区别
  • cache和persist：
    • 这2个方法都可以将rdd的数据进行缓存，后续都要有一个action操作，才会触发缓存任务的执行
    • 它不会改变rdd的血统。整个程序结束之后，这些缓存数据自己被清除了。
  • checkpoint:
    • 可以把数据持久化到hdfs上，这个时候先rdd.checkpoint操作，然后也需要一个action。
    • 一个action操作就是一个job，在这里首先它会执行action这个job，执行完成之后，它会开启一个新的job来执行checkpoint操作，写入之前设置的文件系统持久化, 也就是说在这里比cache和persist多了一个job。它会改变rdd的血统。checkpoint 执行完后，rdd 已经没有依赖 RDD，只有一个checkpointRDD，checkpoint 之后，RDD的lineage就改变了
如何使用checkpoint
  • 1、通过sparkContext对象设置checkpoint目录，用于保存rdd的数据
    • sc.setCheckpointDir("/ckDir")
  • 2、对需要持久化的rdd调用一个方法checkpoint方法
    • val rdd1=sc.textFile("/words.txt")
    • rdd1.checkpoint
  • 3、后续需要有个action操作，触发checkpoint的执行
    • rdd1.collect
数据丢失之后的恢复顺序
  • 首先看一写有没有设置cache，如果有，直接从cache获取得到
  • 如果没有cache，看一下有没有做checkpoint,如果有就直接从checkpoint获取得到
  • 如果没有checkpoint，利用血统这层关系来重新计算恢复得到。
    在这里插入图片描述
QuietHRH
关注
专栏目录
Spark 入门实战系列
01-18
Spark 入门实战系列，适合初学者，文档包括十部分内容，质量很好，为了感谢文档作者，也为了帮助更多的人入门，传播作者的心血，特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建....
spark入门课程
11-07
**Spark入门课程** Spark是大数据处理领域中的一款热门开源框架，以其高效、易用和弹性伸缩性著称。本课程旨在为初学者提供全面的Spark知识，涵盖从基础概念到高级特性的深入理解。 首先，我们将从Scala编程语言...
Spark入门
weixin_69402201的博客
06-11 2842
Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop与Spark历史Hadoop与Spark框架对比 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 Spark SQL：是Spark用来操作结构化数据的程序包
spark快速入门java_Spark 快速入门
weixin_36110673的博客
03-02 1135
本教程快速介绍了Spark的使用。 首先我们介绍了通过Spark 交互式shell调用API( Python或者scala代码)，然后演示如何使用Java, Scala或者Python编写独立程序。 你可以查看Spark编程指南了解完整的参考。开始下面的快速入门之前，首先需要到 Spark网站 下载一份打包好的spark。 既然本教程中我们不使用HDFS,你可以随便下载一个适配任何Hadoop的版...
Spark基础入门
syy517的博客
03-22 5593
第一章 1.spark是什么 定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unifled）分析引擎 特点：对任意数据类型的数据进行自定义计算 Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及sql语法区开发应用程序计算数据 2.spark和Hadoop的对比 hadoop spark
Spark入门简介
程序员乌拉的博客！
04-07 3607
大家好🙌我是你们的好朋友，大数据老虾😀。相遇是缘，既然来了就拎着小板凳坐下来一起唠会儿😎，如果在文中有所收获，请别忘了一键三连，动动你发财的小手👍，你的鼓励，是我创作的动力😁！废话不多说，直接😎 开干吧！ PS：文末干货，记得拎着小板凳离开的时候也给它顺走 🤣 座右铭：“懒”对一个人的毁灭性有多大，早起的重要性就多大。 数据结构详解Spark概述Apache Spark ™简介主要特征批处理/流式数据SQL 分析大规模数据科学机器学习Spark入门PythonSQLScalaSpark SQL&
Spark快速入门
Prince_96的博客
11-29 3634
文章目录1、Spark概述1.1、什么是Spark？1.2、为什么要学Spark？1.3、Spark的特点1.3.1、运行速度快1.3.2、易用性好1.3.3、通用性强1.3.4、兼容性强1.4、Spark运行模式2、搭建Spark集群2.1、下载2.2、环境准备2.3、配置免密登录2.4、开始安装2.5、Spark HA 高可用部署2.5.1、高可用部署说明2.5.2、基于zookeeper 的Spark HA 高可用集群部署3、Spark 角色介绍3.1、Spark架构3.2、架构说明4、体验 Spar
spark 入门（二）
seTaire的博客
05-20 222
关于提交集群任务，test.py 是word count 例子，在上篇内容有提到 spark-submit --master spark://master:7077 --driver-memory 512M --executor-memory 512M test.py 如果出现报错 initial job has not accepted any resources 参考：https...
Spark入门系列（二）
一只倔强的蜗牛的博客
04-12 163
Spark基础使用 下载Spark 使用 Spark 的第一步是下载和解压缩。我们先从下载预编译版本的 Spark 开始。访问 http://spark.apache.org/downloads.html， 选 择 包 类 型 为“Pre-built for Hadoop 2.4 and later”（ 为Hadoop 2.4 及更新版本预编译的版本），然后选择“Direct Download”直接下载。这样我们就可以得到一个压缩的 TAR 文件，文件名为 spark-1.2.0-bin-hadoop2.4
spark 入门（一）
seTaire的博客
05-18 239
spark 的安装配置：https://blog.csdn.net/seTaire/article/details/90263765 试跑一个简单的word count例子检验一下安装配置是否成功。 1. 首先在主机 sh start.sh 启动三个容器，start.sh 在https://blog.csdn.net/seTaire/article/details/90263765 2....
Spark入门（一）
weixin_45289456的博客
08-01 113
Spark 入门 spark框架是如何处理数据的 Hadoop MapReduce 框架 并行计算的思想 分而治之的思想 scala集合高阶函数 处理数据的思想 将要分析的数据放在集合中去，然后调用集合的高阶函数处理数据 spark是什么 Apache Spark™ is a unified analytics engine for large-scale data ...
Spark 入门 （一）
夏夏夏
01-13 171
文章目录Spark特点官方文档 Spark Apache Spark 是一个快如闪电的统一分析引擎（并没有提供数据存储的方案)Lightning-fast unified analytics engine 快如闪电（相比于传统的大数据处理方案MapReduce）： Spark将一个复杂的计算任务Job拆分为多个细粒度的Stage，每一个Stage都可以分布式并行计算；对于MapReduce初代...
Spark Plan 之 SQLMetric
zhixingheyi_tian的博客
11-08 251
Spark Plan 包含以下基本 方法，
spark的学习-05
qq_62984376的博客
11-11 614
结构化数据与非结构化数据结构化数据就类似于excel表中的数据（统计的都是结构化的数据）一般都使用sparkSql处理结构化的数据结构化的文件：JSON、CSV【以逗号分隔】、TSV【以制表符分隔】、parquet、orc结构化的表：数据库中表的数据：MySQL、Oracle、Hive我们在sparkcore中导入数据使用的是textFile，而在sparksql中怎么导入数据呢使用的是DataFrame进行数据的导入。
Spark中的shuffle
weixin_63297999的博客
11-06 1335
Spark Shuffle过程,Spark中有哪些shuffle【分类的】
Spark本地模式安装
brucexia的专栏
11-07 511
前置环境安装参看此博文。
Spark 新作《循序渐进 Spark 大数据应用开发》简介
老卫的技术站
11-11 607
循序渐进Spark大数据应用开发》结合作者一线开发实践，循序渐进地介绍了新版Apache Spark 3.x的开发技术。全书共10章，第1章和第2章主要介绍Spark的基本概念、安装，并演示如何编写最简单的Spark程序。第3章深入探讨了Spark的核心组件RDD。第4章讲解了Spark集群管理，帮助读者理解任务提交与执行的基本原理。第5章介绍了Spark SQL，这是处理结构化数据的基础工具。第6章展示了Spark Web UI，通过界面化的方式了解Spark集群运行状况。
spark的学习-03
qq_62984376的博客
11-07 1304
方法：parallelize 并行的意思将一个集合转换为RDD。
Spark 共享变量：广播变量与累加器解析
最新发布
天冬忘忧的博客
11-11 652
在 Spark 大数据处理框架中，共享变量是一个非常重要的概念。当我们处理一些涉及到不同计算节点（Executor）需要访问相同数据的场景时，共享变量就发挥了关键作用。本文将深入探讨 Spark 中的广播变量和累加器，包括它们的使用场景、原理以及如何在实际代码中应用。
计算机毕业设计django+大模型租房推荐系统 租房可视化 租房大屏可视化 租房爬虫 spark 58同城租房爬虫 房源推荐系统
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
10-31 1725
计算机毕业设计django+大模型租房推荐系统 租房可视化 租房大屏可视化 租房爬虫 spark 58同城租房爬虫 房源推荐系统
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值