大数据面试题(九)----Spark面试题

最新推荐文章于 2020-12-15 15:19:22 发布
最新推荐文章于 2020-12-15 15:19:22 发布
阅读量1.6k 收藏 7
点赞数 4
分类专栏： 【大数据面试宝典】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silentwolfyh/article/details/103865243
版权
本文是关于Spark面试的精华总结，涵盖了Spark Master的高可用配置、作业运行不受主从切换影响的原因、Mesos中的粗粒度与细粒度分配、Spark优化策略、RDD机制等多个关键知识点，旨在帮助读者深入理解Spark的运行机制和优化技巧。
摘要由CSDN通过智能技术生成

“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。”。

大数据面试宝典目录,请点击

目录

1. Spark master 使用zookeeper 进行HA 的，有哪些元数据保存在Zookeeper？
2. Spark master HA 主从切换过程不会影响集群已有的作业运行，为什么？
3. Spark on Mesos 中，什么是的粗粒度分配，什么是细粒度分配， 各自的优点和缺点是什么？
4. 如何配置spark master 的HA？
<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
北京小辉
关注
专栏目录
订阅专栏
大数据面试题--数仓
weixin_42759988的博客
02-22 9361
目录 数据仓库理论 数据分层 E T L 星形模型与雪花模型的区别？ 维度建模（dimensional modeling）： 数据仓库项目最重要或需要注意的是什么，以及如何处理？ 关系建模与维度建模 拉链表： 维度表和事实表 数据仓库中的维度和粒度 维度建模步骤： 如何构建数据仓库？ Flink面试题 Flink的重启策略： Flink集群规模 Flink 集群有哪些角色？各自有什么作用？ TODO说说 Flink 资源管理中 Task Slot 的概念 说说 Fli
大数据Spark面试题
m0_46689661的博客
06-08 503
大数据Spark面试题
Spark 面试题
大强博客
01-19 528
1、Spark与Apache Hadoop有何关系？ Spark是与Hadoop数据兼容的快速通用处理引擎。它可以通过YARN或Spark的独立模式在Hadoop群集中运行，并且可以处理HDFS，HBase，Cassandra，Hive和任何Hadoop InputFormat中的数据。它旨在执行批处理（类似于MapReduce）和新的工作负载，例如流，交互式查询和机器学习。 2、RDD的弹性表...
Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？以及要注意的地方...
weixin_34199405的博客
04-17 1280
为什么80%的码农都做不了架构师？>>> ...
SparkCore-容易混淆的RDD算子区别(Scala版本)
程序员学习圈
01-08 377
1.map与flatMap的区别 # 初始化数据 val rdd1 = sc.parallelize(Array("hello world","i love you")) 1.1  map # map算子 rdd1.map(_.split(" ")).collect # map算子结果输出 res0: Array[Array[String]] = Array(Array(hello, ...
spark大数据处理技术
05-19
比较全面的介绍了spark相关内容，包括spark core、spark sql等内容
大数据面试题---.rar
06-05
在大数据领域，面试通常会涵盖多个关键知识点，包括但不限于数据...以上所述涵盖了大数据面试中的主要知识点，通过深入理解和实践，可以为面试做好充分准备。记得关注技术的最新发展，因为面试问题往往也会与时俱进。
大数据-面试题-英文-网络收集
03-11
从大数据的基本定义到核心框架如Hadoop和Apache Spark，再到数据处理模式的不同选择（如批处理与流处理），这些知识点构成了大数据工程师面试中常见的问题。掌握这些基础知识和技术，对于从事数据分析和大数据处理的...
牛客大数据面试题集锦+答案，共523道，46W+字。大厂必备
09-04
大数据面试题V3.0完成了。共523道题，679页，46w+字，来源于牛客870+篇面经。 主要分为以下几部分： Hadoop面试题：100道 Zookeeper面试题：21道 Hive面试题：47道 Flume面试题：11道 Kafka面试题：59到 HBase面试题...
《JAVA面试题》--java 大数据 spark flink等面试题 数据结构 算法 设计模式.zip
最新发布
04-02
十余年JAVA从业经验，精通JAVA技术体系，有志于做JAVA技能提升的朋友可与我联系，交个朋友 十余年JAVA从业经验，精通JAVA技术体系，有志于做JAVA技能提升的朋友可与我联系，交个朋友 十余年JAVA从业经验，精通JAVA...
Spark笔试题
china_demon的专栏
11-09 2万+
1. Spark 的四大组件下面哪个不是 (D ) A.Spark Streaming B Mlib  C Graphx D Spark R 2.下面哪个端口不是 spark 自带服务的端口 (C ) A.8080 B.4040 C.8090 D.18080 3.spark 1.4 版本的最大变化 (B ) A spark sql Release 版本 B 引入 Spa
Spark精选面试题三（Spark core面试篇01-03）
彷徨的博客
12-02 5851
Spark Core面试篇01 1、Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复...
最近经历的一些大数据（Spark/Hadoop）面试题
coderlaw's study
01-18 4万+
公司A： 1.讲讲你做的过的项目。 项目里有哪些 难点重点注意点呢？ 2.讲讲多线程吧， 要是你，你怎么实现一个线程池呢？ 3.讲一下Mapreduce或者hdfs的原理和机制。map读取数据分片。 4.shuffle 是什么？ 怎么调优？ 5.项目用什么语言写？ Scala？ Scala的特点？ 和Java的区别？ 6.理论基础怎么样，比如数据结构，里面的
大数据笔试真题——第二章:Spark面试题
qianfeng_dashuju的博客
04-22 3200
我会不间断的更新,维护,希望可以对正在找大数据工作的朋友们有所帮助. 第二章目录 第二章 Spark 2.1 Spark 原理 2.1.1 Shuffle 原理 2.1.1.1 SortShuffle mapTask将map（聚合算子）或array（join算子）写入内存 达到阀值发生溢写，溢写前根据key排序，分批写入磁盘，最终将所有临时文件合并成一个最终文...
【2020大数据应用赛样卷试题】Spark分析处理
懂得一千零一种,赋予你失败的方法！
12-15 3128
【2020大数据应用赛样卷试题 — Spark分析处理】 Spark作为大数据第三代计算引擎，在企业中被广泛应用，下面请你完成Spark相关题目： 一、请简答Spark、Mapreduce、Hive三者区别，并说明分别在什么场景下使用三者，请分别举一个案例（5分） Spark 与 Hive的区别： SparkSQL替换的是Hive的查询引擎，Hive是一种基于HDFS的数据仓库，并且提供了基于SQL模型的，针对存了大数据的数据仓库，进行分布式交互查询的查询引擎，所以SparkSQL暂时并不能完全替代
大数据面试题——Spark面试题（二）
qq_41544550的博客
10-24 931
1、Spark有哪两种算子？ Transformation（转化）算子和Action（执行）算子。 2、Spark有哪些聚合类的算子,我们应该尽量避免什么类型的算子？ 在我们的开发过程中，能避免则尽可能避免使用reduceByKey、join、distinct、repartition等会进行shuffle的算子，尽量使用map类的非shuffle算子。这样的话，没有shuffle操作或者仅有较少shuffle操作的Spark作业，可以大大减少性能开销。 3、如何从Kafk...
Spark大数据面试题1
曹利荣的博客
06-03 5706
1、spark在什么场景比不上MapReduce?Spark 在内存中处理数据，需要很大的内存容量。如果 Spark 与其它资源需求型服务一同运行在YARN 上，又或者数据块太大以至于不能完全读入内存，此时 Spark 的性能就会有很大的降低，此时Spark可能比不上MapReduce。当对数据的操作只是简单的ETL的时候，Spark比不上MapReduce。2、spark sql和sql的区别？...
史上最全的spark面试题——持续更新中
热门推荐
为了九亿少女的期待
09-09 6万+
1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合 Dataset：就是一个集合，用于存放数据的 Destributed：分布式，可以并行在集群计算 Resilient：表示弹性的，弹性表示 1.RDD中的数据可以存储...
spark driver HA
赵英超的博客
10-24 1281
实验环境：  zookeeper-3.4.6  Spark：1.6.0  简介：  本篇博客将从以下几点组织文章：  一：Spark 构建高可用HA架构  二：动手实战构建高可用HA  三：提交程序测试HA 一：Spark 构建高可用HA架构    Spark本身是Master和Slave,而这这里的  Master是指Spark资源调度和分配。负责整个集群的资源调度和分
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北京小辉

你的鼓舞将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值