大数据面试题集锦(四)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Zonzereal/article/details/80691794

1.MRV1有哪些不足?

1)可扩展性(对于变化的应付能力)

a)JobTracker内存中保存用户作业的信息

b)JobTracker使用的是粗粒度的锁

2)可靠性和可用性

a)JobTracker失效会多事集群中所有的运行作业,用户需手动重新提交和恢复工作流

3)对不同编程模型的支持

HadoopV1MapReduce为中心的设计虽然能支持广泛的用例,但是并不适合所有大型计算,stormspark

2.描述Yarn执行一个任务的过程?

1)客户端clientResouceManager提交ApplicationResouceManager接受Application

并根据集群资源状况选取一个node来启动Application的任务调度器driverApplicationMaster

2ResouceManager找到那个node,命令其该node上的nodeManager来启动一个新的

JVM进程运行程序的driverApplicationMaster)部分,driverApplicationMaster)启动时会首先向ResourceManager注册,说明由自己来负责当前程序的运行

3driverApplicationMaster)开始下载相关jar包等各种资源,基于下载的jar等信息决定向ResourceManager申请具体的资源内容。

4ResouceManager接受到driverApplicationMaster)提出的申请后,会最大化的满足

资源分配请求,并发送资源的元数据信息给driverApplicationMaster);

5driverApplicationMaster)收到发过来的资源元数据信息后会根据元数据信息发指令给具体

机器上的NodeManager,让其启动具体的container

6NodeManager收到driver发来的指令,启动containercontainer启动后必须向driverApplicationMaster)注册。

7driverApplicationMaster)收到container的注册,开始进行任务的调度和计算,直到

任务完成。

补充:如果ResourceManager第一次没有能够满足driverApplicationMaster)的资源请求

,后续发现有空闲的资源,会主动向driverApplicationMaster)发送可用资源的元数据信息

以提供更多的资源用于当前程序的运行。

 

3.Yarn中的container是由谁负责销毁的,在Hadoop Mapreducecontainer可以复用么

答:ApplicationMaster负责销毁,在Hadoop Mapreduce不可以复用,在spark on yarn程序container可以复用

4.提交任务时,如何指定Spark Application的运行模式?

1cluster模式:./spark-submit --class xx.xx.xx--master yarn --deploy-mode cluster xx.jar

2)client模式:./spark-submit --class xx.xx.xx --master yarn --deploy-mode clientxx.jar

5. 不启动Spark集群Masterwork服务,可不可以运行Spark程序?

答:可以,只要资源管理器第三方管理就可以,如由yarn管理,spark集群不启动也可以使用sparkspark集群启动的是workmaster,这个其实就是资源管理框架,yarn中的resourceManager相当于masterNodeManager相当于worker,做计算是Executor,和spark集群的workmanager可以没关系,归根接底还是JVM的运行,只要所在的JVM上安装了spark就可以。

6.Spark中的4040端口由什么功能?

答:收集Spark作业运行的信息

7.spark on yarn Cluster 模式下,ApplicationMasterdriver是在同一个进程么?

答:是,driver 位于ApplicationMaster进程中。该进程负责申请资源,还负责监控程序、资源的动态情况。

8.如何使用命令查看application运行的日志信息

答:yarn logs -applicationId <app ID>

9.Spark on Yarn 模式有哪些优点?

1)与其他计算框架共享集群资源(eg.Spark框架与MapReduce框架同时运行,如果不用Yarn进行资源分配,MapReduce分到的内存资源会很少,效率低下);资源按需分配,进而提高集群资源利用等。

2)相较于Spark自带的Standalone模式,Yarn的资源分配更加细致

3)Application部署简化,例如SparkStorm等多种框架的应用由客户端提交后,由Yarn负责资源的管理和调度,利用Container作为资源隔离的单位,以它为单位去使用内存,cpu等。

4)Yarn通过队列的方式,管理同时运行在Yarn集群中的多个服务,可根据不同类型的应用程序负载情况,调整对应的资源使用量,实现资源弹性管理。

10.谈谈你对container的理解?

1Container作为资源分配和调度的基本单位,其中封装了的资源如内存,CPU,磁盘,网络带宽等。目前yarn仅仅封装内存和CPU

2)ContainerApplicationMasterResourceManager申请的,由ResouceManager中的资源调度器异步分配给ApplicationMaster

3) Container的运行是由ApplicationMaster向资源所在的NodeManager发起的,Container运行时需提供内部执行的任务命令.

11.运行在yarnApplication有几种类型的container

1运行ApplicationMasterContainer:这是由ResourceManager(向内部的资源调度器)申请和启动的,用户提交应用程序时,可指定唯一的ApplicationMaster所需的资源;

2运行各类任务的Container:这是由ApplicationMasterResourceManager申请的,并由ApplicationMasterNodeManager通信以启动之。

12.Spark on Yarn架构是怎么样的?(要会画图)

Yarn提到的App Master可以理解为SparkStandalone模式中的driverContainer中运行着Executor,Executor中以多线程并行的方式运行Task。运行过程和第二题相似。

13.Executor启动时,资源通过哪几个参数指定?

1)num-executorsexecutor的数量

2)executor-memory是每个executor使用的内存

3)executor-cores是每个executor分配的CPU

14.一个task的map数量由谁来决定?

一般情况下,在输入源是文件的时候,一个taskmap数量由splitSize来决定的,那么splitSize是由以下几个来决定的

goalSize= totalSize / mapred.map.tasks

inSize= max {mapred.min.split.size, minSplitSize}

splitSize= max (minSize, min(goalSize, dfs.block.size))

一个taskreduce数量,由partition决定。

15.reduce后输出的数据量有多大?

并不是想知道确切的数据量有多大这个,而是想问你,MR的执行机制,开发完程序,有没有认真评估程序运行效率

1)用于处理redcue任务的资源情况,如果是MRV1的话,分了多少资源给map,多少个reduce

  如果是MRV2的话,可以提一下,集群有分了多少内存、CPUyarn做计算

2)结合实际应用场景回答,输入数据有多大,大约多少条记录,做了哪些逻辑操作,输出的时候有多少条记录,执行了多久,reduce执行时候的数据有没有倾斜等

3)再提一下,针对mapReduce做了哪几点优化,速度提升了多久,列举1,2个优化点就可以

16.你的项目提交到job的时候数据量有多大?

答:1)回答出数据是什么格式,有没有采用什么压缩,采用了压缩的话,压缩比大概是多少;2)文件大概多大:大概起了多少个map,起了多少个reducemap阶段读取了多少数据,reduce阶段读取了多少数据,程序大约执行了多久,3)集群什么规模,集群有多少节点,多少内存,多少CPU核数等。把这些点回答进去,而不是给个数字了事。

17.你们提交的job任务大概有多少个?这些job执行完大概用多少时间?

还是考察你开发完程序有没有认真观察过程序的运行,有没有评估程序运行的效率

18.你们业务数据量多大?有多少行数据?

这个也是看你们有没有实际的经验,对于没有实战的同学,请把回答的侧重点放在MR的运行机制上面,

MR运行效率方面,以及如何优化MR程序(看别人的优化demo,然后在虚拟机上拿demo做一下测试)。

19.如何杀死一个正在运行的job

杀死一个job

MRV1Hadoop job kill jobid

YARN:yarn application -kill applicationId

20.列出你所知道的调度器,说明其工作原理

a) Fifo schedular 默认的调度器  先进先出

b) Capacity schedular  计算能力调度器  选择占用内存小  优先级高的

c) Fair schedular 调肚脐  公平调度器  所有job 占用相同资源

21.YarnClient模式下,执行Spark SQL报这个错,Exception in thread "Thread-2"java.lang.OutOfMemoryError: PermGen space,但是在Yarn Cluster模式下正常运行,可能是什么原因?

1)原因查询过程中调用的是Hive的获取元数据信息、SQL解析,并且使用Cglib等进行序列化反序列化,中间可能产生较多的class文件,导致JVM中的持久代使用较多

Cluster模式的持久代默认大小是64MClient模式的持久代默认大小是32M,而Driver端进行SQL处理时,其持久代的使用可能会达到90M,导致OOM溢出,任务失败。

yarn-cluster模式下出现,yarn-client模式运行时倒是正常的,原来在$SPARK_HOME/bin/spark-class文件中已经设置了持久代大小:

JAVA_OPTS="-XX:MaxPermSize=256m$OUR_JAVA_OPTS"

2)解决方法:Sparkconf目录中的spark-defaults.conf里,增加对DriverJVM配置,因为Driver才负责SQL的解析和元数据获取。配置如下:

spark.driver.extraJavaOptions-XX:PermSize=128M -XX:MaxPermSize=256M   

22.spark.driver.extraJavaOptions这个参数是什么意思,你们生产环境配了多少?

传递给executorsJVM选项字符串。例如GC设置或者其它日志设置。注意,在这个选项中设置Spark属性或者堆大小是不合法的。Spark属性需要用SparkConf对象或者spark-submit脚本用到的spark-defaults.conf文件设置。堆内存可以通过spark.executor.memory设置

23.导致Executor产生FULL gc 的原因,可能导致什么问题?

答:可能导致Executor僵死问题,海量数据的shuffle和数据倾斜等都可能导致full gc。以shuffle为例,伴随着大量的Shuffle写操作,JVM的新生代不断GCEden Space写满了就往Survivor Space写,同时超过一定大小的数据会直接写到老生代,当新生代写满了之后,也会把老的数据搞到老生代,如果老生代空间不足了,就触发FULL GC,还是空间不够,那就OOM错误了,此时线程被Blocked,导致整个Executor处理数据的进程被卡住

24.Combiner partition的作用

combine分为map端和reduce端,作用是把同一个key的键值对合并在一起,可以自定义的。combine函数把一个map函数产生的<key,value>对(多个key,value)合并成一个新<key2,value2>.将新的<key2,value2>作为输入到reduce函数中这个value2亦可称之为values,因为有多个。这个合并的目的是为了减少网络传输。partition是分割map每个节点的结果,按照key分别映射给不同的reduce,也是可以自定义的。这里其实可以理解归类。我们对于错综复杂的数据归类。比如在动物园里有牛羊鸡鸭鹅,他们都是混在一起的,但是到了晚上他们就各自牛回牛棚,羊回羊圈,鸡回鸡窝。partition的作用就是把这些数据归类。只不过在写程序的时候,mapreduce使用哈希HashPartitioner帮我们归类了。这个我们也可以自定义。shuffle就是mapreduce之间的过程,包含了两端的combinepartitionMap的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通OutputFormat,进行输出shuffle阶段的主要函数是fetchOutputs(),这个函数的功能就是将map阶段的输出,copyreduce 节点本地

25.Spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceededjava.lang.OutOfMemoryError: java heap space原因和解决方法?

答:原因:加载了太多资源到内存,本地的性能也不好,gc时间消耗的较多

解决方法:

1)增加参数,-XX:-UseGCOverheadLimit,关闭这个特性,同时增加heap大小,-Xmx1024m

2)下面这个两个参数调大点

exportSPARK_EXECUTOR_MEMORY=6000M

exportSPARK_DRIVER_MEMORY=7000M

26.请列出在你以前工作中所使用过的开发map/reduce的语言

答:javaScalaPythonshell

27.你认为/etc/hosts配置错误,会对集群有什么影响?

答:1)直接导致域名没法解析,主节点与子节点,子节点与子节点没法正常通讯,2)间接导致配置错误的相关节点删的服务不正常,甚至没法启动,job执行失败等等

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页