大数据之spark面试题

最新推荐文章于 2022-06-08 21:37:00 发布
VIP文章 最新推荐文章于 2022-06-08 21:37:00 发布
阅读量688 收藏 4
点赞数
分类专栏： 大数据 面试题 文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hw_870754395/article/details/97281439
版权

大数据之spark面试题

一、RDD

1. 什么是RDD? "弹性"体现在哪里？RDD存在的缺陷？

（1）RDD(Resilient Distributed Dataset, 弹性分布式数据集)
（2）弹性体现：

  • 自动进行内存和磁盘切换
  • 基于lineage的高效容错
  • task如果失败会特定次数的重试
  • stage如果失败会自动进行特定次数的重试，而且只会计算失败的分片
    • checkpoint（检查点）和persist（持久化）
    • persist：内存或磁盘中对数据进行复用
  • 数据调度弹性：DAG TASK和资源管理无关
  • 数据分
最低0.47元/天 解锁文章
HW_870754395
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark面试2000题.pdf
12-11
Spark面试2000题
Spark面试题
昕友软件博客
03-14 1164
Spark面试题 RDD怎么理解？ RDD 是 Spark 的灵魂，也称为弹性分布式数据集。一个 RDD 代表一个可以被分区的只读数据集。RDD 内部可以有许多分区(partitions)，每个分区又拥有大量的记录(records)。Rdd的五个特征： 1. dependencies: 建立 RDD 的依赖关系，主要 RDD 之间是宽窄依赖的关系...
Spark面试题(二)
inner Peace的博客
09-13 6215
一、spark streaming和storm有何区别？ 一个实时毫秒，一个准实时亚秒，不过storm的吞吐率比较低。   二、spark有哪些组件？ Master：管理集群和节点，不参与计算。 Worker：计算节点，进程本身不参与计算，和master汇报。 Driver：运行程序的main方法，创建sparkcontext对象。 Spark context：控制整个applica...
史上最全的spark面试题——持续更新中
热门推荐
为了九亿少女的期待
09-09 6万+
1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合 Dataset：就是一个集合，用于存放数据的 Destributed：分布式，可以并行在集群计算 Resilient：表示弹性的，弹性表示 1.RDD中的数据可以存储...
Spark大数据面试题1
曹利荣的博客
06-03 5673
1、spark在什么场景比不上MapReduce?Spark 在内存中处理数据，需要很大的内存容量。如果 Spark 与其它资源需求型服务一同运行在YARN 上，又或者数据块太大以至于不能完全读入内存，此时 Spark 的性能就会有很大的降低，此时Spark可能比不上MapReduce。当对数据的操作只是简单的ETL的时候，Spark比不上MapReduce。2、spark sql和sql的区别？...
大数据组件 Spark 面试题 + Spark 高频面试题
02-10
里面有 Spark 的部署方式，spark core、spark sql、spark streaming 等组件的各种面试题，包括但不限于宽窄依赖、缓存、数据广播、shuffle以及数据倾斜的查看和解决方式等等 对于大数据（离线、在线）面试的同学还是...
大数据Spark面试题汇总
04-12
大数据Spark面试题汇总，共有79道面试题以及题目的解答 部分题目如下： 1. spark 的有几种部署模式，每种模式特点？ 2. Spark 为什么比 mapreduce 快？ 3. 简单说一下 hadoop 和 spark 的 shuffle 相同和差异？ 5. ...
大数据相关面试题Spark,Kakfa等
03-01
大数据Spark面试题 大数据Kakfa面试题 大数据Spark面试题 大数据Kakfa面试题 大数据Spark面试题 大数据Kakfa面试题 大数据Spark面试题 大数据Kakfa面试题 大数据Spark面试题 大数据Kakfa面试题 大数据Spark面试题 ...
大数据技术高频面试题
10-03
整理完备的大数据高频面试题，非常适合突击面试的同学进行知识点的巩固，面试题非常完备，包含hadoop,spark,hbase,hive等大数据框架常用常考的知识点
大数据开发面试题合集.pdf
最新发布
04-09
当应聘者面试大数据开发岗位时，以下是一些常见的面试题： - 1. 请解释一下什么是大数据（Big Data），并列举大数据的特征和应用场景。 - 2. 你熟悉的大数据技术栈有哪些？请简要介绍每种技术的作用和特点。 - 3. ...
Spark面试题(一)
weixin_30542079的博客
02-24 149
一、spark集群运算的模式 Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。 standalone(集群模式)：典型的Mate...
大数据Spark面试题
m0_46689661的博客
06-08 456
大数据Spark面试题
spark面试题
我的博客
04-18 742
 统计微博信息 试题描述:有一个数据文件，它包含如下格式的两列数据11111111 1274345711111111 1638658711111111 1976438811111111 1236437511111111 1342627511111111 1235636311111111 1325623611111111 1000003211111111 1000000111111111 10000...
【最全的大数据面试系列】Spark面试题大全（一）
大数据小禅的博客
12-13 984
???? 作者 ：“大数据小禅” ???? **专栏简介 **：本专栏主要分享收集的大数据相关的面试题，涉及到Hadoop，Spark，Flink，Zookeeper，Flume，Kafka，Hive，Hbase等大数据相关技术。大数据面试专栏地址。 ???? **个人主页 **：大数据小禅 ???? **粉丝福利 **：加入小禅的大数据社群 ???? 欢迎小伙伴们 点赞????、收藏⭐、留言???? 面试题目录1. spark 如何保证宕机迅速恢复?2.Spark streaming 以及基本工作原理？
大数据常见面试题之spark core
03-16
以下是大数据常见面试题之Spark Core： 1. 什么是Spark Core？ Spark Core是Spark的核心组件，它提供了分布式任务调度、内存管理、错误恢复、与存储系统的交互等功能。 2. Spark Core的作用是什么？ Spark Core...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值