知识点(我们先来复习一下吧~)
- Hadoop 的局限与不足:
1)抽象层次低
2)表达能力有限
3)开发者自己管理作业之间的依赖关系
4)难以看到程序整体逻辑
5)执行迭代操作效率低
6)资源浪费
7)实时性差 - Hadoop的改进
组件 | Hadoop 1.0问题 | Hadoop2.0的改进 |
---|---|---|
HDFS | 单一名称节点,存在单点失效问题 | HDFS HA , 提供名称节点热备份机制 |
HDFS | 单一命名空间,无法实现资源隔离 | HDFS 联邦 , 管理多个命名空间 |
MapReduce | 资源管理效率低 | 新的资源管理框架YARN |
- Hadoop1.0 只存在一个名称节点,一旦这个唯一的名称节点发生故障,就会导致整个集群变得不可用,这就是单点故障问题。
- Hadoop2.0 HDFS HA 解决了单点故障问题,在HA集群中,一般设置两个名称节点,其中一个处于“活跃”状态,另一个处于“待命”状态。处于待命状态的名称节点提供了
“热备份”
。 - HDFS联邦解决了单名称节点存在的以下三个问题:
1)HDFS集群的可扩展性。
2)系统整体性能更高。
3)良好的隔离性。
6.YARN的体系结构包括三个组件:ResourceManager,NodeManager,ApplicationMaster。
7.ResourceManager(资源管理器):负责资源管理和分配。主要包括两个组件,资源调度器(Resource Schedule)和 应用程序管理器(Applications Manager)
1【单选题】
下列说法正确的是________
A、第二名称节点无法解决单点故障问题
B、HDFS HA可用性不好
C、HDFS HA提供高可用性,可以实现可扩展性和隔离性
D、第二名称节点是热备份
答案:A
2【单选题】
HDFS Federation设计不能解决“单名称节点”存在的________问题
A、HDFS集群扩展性
B、良好的隔离性
C、性能更高效
D、单点故障问题
答案:D
3【单选题】
HDFS HA架构,是为了解决HDFS的________问题
A、命名空间的限制
B、隔离性问题
C、单点故障问题
D、可扩展性问题
答案:C
4【多选题】
Hadoop的优化与发展主要体现在________两个方面。
A、改变Hadoop使用的开发语言
B、Hadoop自身架构的设计与改进
C、丰富Hadoop生态系统的组件
D、升级集群,采用更高性能的硬件设备
答案:BC
5【多选题】
相对HDFS1.0来说,HDFS2.0主要增加了________新特性。
A、HDFS HA
B、zookeeper
C、Pig
D、HDFS联邦
答案:AD
6【多选题】
HDFS联邦可以很好的解决________问题。
A、可扩展性
B、隔离性
C、单点故障
D、系统的整体性能
答案:ABD
7【多选题】
对新一代资源管理调度框架YARN的理解正确的是________。
A、YARN既是资源管理调度框架,也是一个计算框架。
B、MapReduce2.0是运行在YARN之上的计算框架,由YARN来为MapReduce提供资源管理调度服务。
C、YARN可以实现“一个集群多个框架”,即在一个集群上部署一个统一的资源调度管理框架。
D、YARN的体系结构包括三个组件:ResourceManager,NodeManager,ApplicationMaster。
答案:BCD
8【填空题】
相对于HDFS1.0, HDFS2.0增加HDFS HA和____________两个新特性。
答案:
HDFS联邦
9【填空题】
一个典型的HDFS HA集群中,一般设置两个名称节点,一个处于________状态,另一个处于________状态。
答案:活跃 待命
10【填空题】
YARN架构包括:____________、ApplicationMaster、NodeManager和Container。
答案:ResourceManager
11【填空题】
YARN中的RescourceManager主要包括____________和____________。
答案: 资源调度器 应用程序管理器
12【判断题】
YARN是资源管理调度框架,其目标是实现“一个集群多个框架”。
答案:√
13【判断题】
在HDFS Federation(HDFS联邦)中,设计了多个相互独立的名称节点,使得HDFS的命名服务能够水平扩展。
答案:√