Spark归纳

于 2019-11-17 11:14:46 发布
阅读量128 收藏
点赞数
文章标签： Spark入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40076192/article/details/103083681
版权

什么是RDD？

RDD就是带有分区的集合类型，特点是可以并行操作，并且具有容错性。

创建RDD
在这里插入图片描述
查看RDD
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

什么是DAG

DAG指的是有向无环图，一个DAG中记录了RDD之间的依赖关系，RDD通过依赖关系可以实现数据的容错，当RDD某个分区数据丢失时，可以通过依赖关系和父RDD的分区数据实现恢复。

RDD的依赖关系
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Spark架构与调度模块

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

SC负责任务的调度分配
在这里插入图片描述
Cluster Manager为task分配运算资源
较完整的调度模块
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Spark Shuffle

在这里插入图片描述

在这里插入图片描述

RDD容错机制与RDD缓存

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

翔千岁
关注
Spark MLlib机器学习01.pdf
03-05
根据提供的文件信息，我们可以归纳出以下几个关键的知识点： ### 1. Spark MLlib 简介 #### 1.1 Spark MLlib 概览 - **Spark MLlib** 是 Apache Spark 的机器学习库，提供了丰富的工具和算法来处理大规模的数据集...
大数据技术分享 Spark技术讲座 混合云中的端到端基于Spark的学习机栈 共23页.pdf
07-18
根据提供的文件信息，我们可以归纳出以下关键知识点，主要聚焦于大数据技术、Spark 技术以及在混合云环境下的应用。 ### 大数据技术背景 在当前的信息时代，数据量呈指数级增长，如何高效地存储、处理这些海量数据...
spark面试题Miles[归纳].pdf
10-20
Spark 和 Hadoop 都是大数据处理领域的重要框架，它们都支持并行计算，但有显著的差异。Hadoop 使用 MapReduce 模型，一个作业（Job）被分解为 Map 和 Reduce 任务，每个任务都在独立的进程中运行，任务结束后进程也...
Spark踩坑记——SparkStreaming+Kafka
02-25
本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单阐述Sparkstreaming+kafka在舆情项目中的应用，最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结。（如有任何纰漏欢迎补充来踩...
基于温度检测技术的ddos防御系统设计源码
10-04
该项目是一款基于温度检测技术的DDoS防御系统源码，采用JavaScript作为主要开发语言，同时融入Java、HTML、CSS等辅助技术。项目包含178个文件，涵盖77个GIF图像、29个Java源文件、25个JavaScript文件、9个CSS文件、9个HTML文件、6个JPG图片、4个XML、4个PNG图片、2个属性文件和2个Python文件。该系统旨在通过温度检测机制提供有效的DDoS攻击防御。
微信小程序开发资源总结-100款精彩微信微信.zip
10-04
微信小程序开发资源总结-100款精彩微信微信
3次B样条优化，适用于所有matlab程序，单独的独立子程序，可以直接在自己的程序上进行优化使用～提供自己写的算法原理文档～
最新发布
10-04
3次B样条优化，适用于所有matlab程序，单独的独立子程序，可以直接在自己的程序上进行优化使用～提供自己写的算法原理文档～
基于SpringBoot3和Vue3的漫画管理平台设计源码
10-04
本项目为基于SpringBoot 3和Vue 3技术栈构建的漫画管理平台设计源码，总计包含54个文件，涵盖17个Java类文件、11个XML配置文件、11个Vue组件文件、4个JavaScript脚本文件、2个JSON配置文件、2个CSS样式文件、1个Markdown文件、1个HTML文件以及1个图标文件。
全国大学生电子设计大赛项目合集全国电赛优秀作品2015年电子竞赛题目方案&设计资料PDF
10-04
全国大学生电子设计大赛项目合集全国电赛优秀作品2015年电子竞赛题目方案&设计资料PDF
基于Django框架的Python网盘设计源码
10-04
该项目为基于Django框架开发的Python网盘设计源码，包含26个文件，包括11个Python源文件、7个Python编译文件、4个HTML文件、2个Markdown文件、2个批处理文件。该系统以Python和HTML为主要开发语言，旨在提供便捷的个人云存储解决方案。
基于Python语言的lookjob求职系统设计源码
10-04
该项目是一款基于Python语言的求职系统源码，共包含22个文件，其中包括9个Python源文件、7个Markdown文档、5个PDF文档和1个Git忽略文件。系统旨在提供高效的求职服务。
基于JavaScript的危废品管理业务模块设计源码
10-04
本项目是一款基于JavaScript的危废品管理业务模块设计源码，包含1417个文件，涵盖328个PNG图像、236个JavaScript、184个Java类、158个HTML页面、86个CSS样式表、179个Java源代码、120个GIF图像、42个JPG图片、34个XML配置文件、10个SWF动画文件。该系统专注于危废品业务管理模块的设计与实现，旨在提升危废品管理效率。
微信小程序：Github今日排行榜_ eapp Github动态.zip
10-04
微信小程序：Github今日排行榜_ eapp Github动态
微信小程序-移动商城_ echat weapp商城.zip
10-04
微信小程序-移动商城_ echat weapp商城
微信小程序商城、微信小应用商店、fecshop微信小软件、w_x_micro_corm.zip
10-04
微信小程序商城、微信小应用商店、fecshop微信小软件、w_x_micro_corm
基于多语言开发的在线电影购票平台设计源码
10-04
该项目为多语言构建的在线电影购票平台设计源码，包含83个文件，涵盖27个Java类、16个HTML页面、13个XML配置、8个SQL脚本、4个PNG图片、3个JavaScript脚本、2个属性文件、2个Markdown文档、1个Git忽略文件和1个Idea项目文件。系统模拟了猫眼、团票票等在线购票平台的操作流程，包括用户端、影院端和平台端。用户端支持登录、注册、选座购票、订单查询和微信支付；影院端允许管理影厅、座位、电影和票房；平台端则负责收取影院票房的50%作为服务费。
微信小程序学习_ echat小程序学习.zip
10-04
微信小程序学习_ echat小程序学习
浙江工商大学杭州商学院在辽宁2020-2024各专业最低录取分数及位次表.pdf
10-04
那些年，与你同分同位次的同学都去了哪里？全国各大学在辽宁2020-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
八大策略应对Spark数据倾斜：性能优化与内存管理
解决数据倾斜的方法可以归纳为以下八种： 1. **优化数据分区和shuffle策略**：通过调整partitioner和shuffler的配置，确保数据在shuffle过程中均匀分布。 2. **使用动态分区**：根据实时数据的负载动态调整分区...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值