大数据面试题
丿沐染烟忱丶
昨夜西风凋碧树,独上高楼,望尽天涯路!
衣带渐宽终不悔,为伊消得人憔悴!
众里寻他千百度。蓦然回首,那人却在灯火阑珊处!
展开
-
大数据面试题--Flink基础篇
谈一谈对Flink的理解和认识? Flink是一个纯粹的流处理框架,所有的算子操作都是有状态的。Flink提供强大的状态管理、完备的窗口计算等策略。相比较于其他流处理框架而言,Flink具有高吞吐和低延迟的优势,能够基于Event-Time实现窗口状态计算,同时也支持对延迟数据的处理。 Flink这款框架在架构的设计上和Spark的宏观架构非常相似,在资源管理上底层可以使用standalone、y...原创 2020-03-30 11:01:25 · 662 阅读 · 0 评论 -
大数据面试题--MapReduce篇
MapReduce任务执行的11个步骤 1.运行job任务 2.获取ApplicationID|JobID 3.Copy Job资源到HDFS-切片信息、配置信息、代码片段 4.提交任务给ResourceManager 5.RM->NM消耗一个Container资源,用于启动MRAppMaster 6.MRAppMaster初始化任务,完成任务调度前的准备工作 7.MRAppMaster查询...原创 2020-03-04 21:25:22 · 719 阅读 · 0 评论 -
大数据面试题--HDFS篇
NameNode和Secondary NameNode区别? 第一阶段:NameNode启动 (1)NameNode服务工作,第一次启动格式化后,创建fsimage和editlog文件。如果不是第一次启动,直接加载镜像文件和日志到内存。 (2)处理客户端对元数据进行增删改的请求。 (3)NameNode记录操作日志,更新滚动日志。 (4)NameNode在内存中对数据进行增删改查。 第二阶段:Se...原创 2020-03-03 22:25:32 · 278 阅读 · 0 评论