spark面经复习
spark面经复习
大数据捌圆
这个作者很懒,什么都没留下…
展开
-
19-释放缓存和缓存
释放缓存和缓存原创 2022-12-08 00:13:20 · 403 阅读 · 0 评论 -
10-Spark的action算子(不少于6个)(重点)
Spark的action算子(不少于6个)(重点)原创 2022-12-07 08:06:20 · 387 阅读 · 0 评论 -
06-Spark任务使用什么进行提交,JavaEE界面还是脚本
Spark任务使用什么进行提交,JavaEE界面还是脚本原创 2022-12-05 08:02:40 · 214 阅读 · 0 评论 -
05-简述Spark的架构与作业提交流程(画图讲解,注明各个部分的作用)(重点)
简述Spark的架构与作业提交流程(画图讲解,注明各个部分的作用)(重点)原创 2022-12-05 07:46:33 · 597 阅读 · 0 评论 -
04-spark常用端口号
spark常用端口号原创 2022-12-05 07:41:36 · 1500 阅读 · 0 评论 -
02-Spark为什么会有自己的资源调度器
Spark为什么会有自己的资源调度器原创 2022-12-05 07:20:29 · 258 阅读 · 0 评论 -
01-spark解决什么问题
spark解决什么问题原创 2022-12-05 07:14:05 · 395 阅读 · 0 评论 -
27-spark各版本对比
spark各版本对比原创 2022-06-30 21:30:32 · 4351 阅读 · 0 评论 -
36-sparkstreaming
SparkStreaming原创 2022-06-24 09:10:51 · 283 阅读 · 0 评论 -
26-spark内核源码(重点)
spark内核源码原创 2022-06-23 15:14:31 · 162 阅读 · 0 评论 -
25-如何使用Spark实现TopN的获取(描述思路或使用伪代码)(重点)
如何使用Spark实现TopN的获取原创 2022-06-23 08:02:27 · 218 阅读 · 0 评论 -
24-当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数?
当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数原创 2022-06-23 07:25:44 · 405 阅读 · 0 评论 -
23-SparkSQL中RDD、DataFrame、DataSet三者的转换 (笔试重点)
SparkSQL中RDD、DataFrame、DataSet三者的转换原创 2022-06-23 07:24:29 · 201 阅读 · 0 评论 -
22-spark累加器和广播变量
spark累加器和广播变量原创 2022-06-23 07:21:39 · 150 阅读 · 0 评论 -
21-spark分区
spark分区原创 2022-06-23 07:04:50 · 115 阅读 · 0 评论 -
20-简述下spark中的缓存(cache和persist)与checkpoint机制,并指出两者的区别和联系
简述下Spark中的缓存(cache和persist)与checkpoint机制,并指出两者的区别和联系原创 2022-06-22 16:17:16 · 481 阅读 · 0 评论 -
18-cache缓存级别
cache缓存级别原创 2022-06-22 15:55:05 · 103 阅读 · 0 评论 -
17-spark任务划分
Spark任务的划分原创 2022-06-22 12:09:43 · 744 阅读 · 0 评论 -
15-kryo序列化
kryo序列化原创 2022-06-22 09:29:54 · 248 阅读 · 0 评论 -
14-reduceByKey、foldByKey、aggregateByKey、combineByKey区别
reduceByKey、foldByKey、aggregateByKey、combineByKey区别原创 2022-06-22 09:14:06 · 214 阅读 · 0 评论 -
13-reduceByKey与groupByKey的区别
reduceByKey与groupByKey的区别原创 2022-06-22 08:50:25 · 102 阅读 · 0 评论 -
12-Repartition和Coalesce区别
Repartition和Coalesce区别原创 2022-06-21 22:35:01 · 172 阅读 · 0 评论 -
11-map和mapPartitions区别
map和mapPartitions区别原创 2022-06-21 22:29:40 · 85 阅读 · 0 评论 -
09-spark的transformation算子(不少于8个,重点)
spark的transformation算子原创 2022-06-21 22:07:15 · 125 阅读 · 0 评论 -
08-RDD五大特性
RDD五大属性原创 2022-06-21 17:20:01 · 91 阅读 · 0 评论 -
35-简述spark的宽窄依赖,以及spark如何划分stage,每个stage又根据什么决定task个数
简述spark的宽窄依赖,以及spark如何划分stage,每个stage又根据什么决定task个数原创 2022-06-21 16:43:39 · 477 阅读 · 0 评论 -
34-spark数据倾斜解决
spark数据倾斜解决原创 2022-06-18 19:20:45 · 371 阅读 · 0 评论 -
33-troubleshooting
troubleshooting原创 2022-06-17 21:40:16 · 179 阅读 · 0 评论 -
32-spark项目优化方案
spark性能优化原创 2022-06-17 16:46:32 · 674 阅读 · 0 评论 -
16-如何理解spark的血统(RDD)概念
如何理解spark血统概念原创 2022-06-13 21:39:11 · 274 阅读 · 0 评论 -
07-spark提交作业参数与spark任务提交方式
spark提交作业参数与spark任务提交方式原创 2022-06-13 21:17:59 · 302 阅读 · 0 评论 -
03-spark有几种部署方式?请分别简要概述
spark部署方式原创 2022-06-13 20:39:08 · 154 阅读 · 0 评论