文章目录
- 前言
- 一、面试经验
-
- 1、Hadoop简介
- 1、Hadoop的优势
- 3、Hadoop1.x、2.x、3.x的区别?
- 4、搭建Hadoop集群的xml文件有哪些?
- 5、Hadoop的运行模式有哪几种?
- 6、Hadoop主要分哪几个部分?他们有什么作用?
- 7、介绍一下HDFS的组织架构?
- 8、介绍一下Yarn的组织架构?
- 9、介绍一下MapReduce的组织结构?
- 10、介绍一下Hadoop的checkpoint流程?
- 11、MapReduce的Map Task工作机制
- 12、MapReduce的Reduce Task工作机制
- 13、HDFS的写流程
- 14、HDFS的读流程
- 15、Yarn的工作原理
- 16、Spark的运行流程
- 17、Spark与MapReduce的Shuffle有什么区别?
- 18、hive的架构原理?
- 19、hive的执行流程?
前言
一、面试经验
1、Hadoop简介
1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2)主要解决,海量数据的存储和海量数据的分析计算问题。
1、Hadoop的优势
1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元
素或存储出现故障,也不会导致数据的丢失。
2)高扩展性:在集群间分配任务数据,方便扩展。
3)高效性:Hadoop是并行工作的,以加快任务处
理速度。
4)高容错性:能够自动将失败的任务重新分配。
3、Hadoop1.x、2.x、3.x的区别?
1)Hadoop 1.x阶段,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大;
2)Hadoop 2.x阶段,增加了Yarn。Yarn只负责资源的调度,MapReduce只负责运算;
3)Hadoop 3.x相比于Hadoop 2.x阶段在组成上没有变化。
4、搭建Hadoop集群的xml文件有哪些?
core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>atguigu</value>
</property>
</configuration>
hdfs-site.xml
<