Hadoop 面试题（十二）

1. 简述Hadoop常用命令中，查看指定目录下的所有文件及子目录的命令是 ？

A：hdfs dfs –ls [文件目录]
B：hdfs dfs –du [文件目录]
C：hdfs dfs –ls -R [文件目录]
D：hdfs dfs –du -R [文件目录]

查看指定目录下的所有文件及子目录的命令是：

C：hdfs dfs –ls -R [文件目录] - 这个命令使用-R选项递归地列出指定目录及其所有子目录中的文件和目录。

其他选项的说明：

A：hdfs dfs –ls [文件目录] - 这个命令列出指定目录中的文件和子目录，但不递归地列出子目录的内容。

B：hdfs dfs –du [文件目录] - 这个命令显示指定目录或文件的磁盘使用情况，而不会列出目录内容。

D：hdfs dfs –du -R [文件目录] - 这个命令递归地显示指定目录及其所有子目录的磁盘使用情况，而不是列出文件和目录名称。

2. 简述下列哪个属性是 hdfs-site.xml 中的配置 ？

A：dfs.replication
B：fs.defaultFS
C：mapreduce.framework.name
D：yarn.resourcemanager.address

下列属性是hdfs-site.xml中的配置：

A：dfs.replication - 这个属性是HDFS用来设置数据块副本数量的配置项。

其他选项的说明：

B：fs.defaultFS - 这个属性是指定Hadoop文件系统的默认名称，通常是在core-site.xml中配置的。

C：mapreduce.framework.name - 这个属性用于指定MapReduce框架的名称，比如YARN，它也是在core-site.xml中配置的。

D：yarn.resourcemanager.address - 这个属性是指定YARN ResourceManager的地址和端口，它是在yarn-site.xml中配置的。

因此，dfs.replication是直接关联到HDFS的配置，通常在hdfs-site.xml文件中设置。其他选项则与HDFS没有直接关系，它们分别配置在Hadoop集群的其他配置文件中。

3. 简述下列关于ResourceManager描述错误的是 ？

A：ResourceManager也叫JobTracker
B：ResourceManager负责调度DataNode上的工作
C：ResourceManager只负责调度DataNode，具体的工作由ResourceManager上的TaskTracker执行实际工作
D：ResourceManager不只负责调度DataNode，还执行实际的读写任务

描述错误的是：

B：ResourceManager负责调度DataNode上的工作 - 这个描述是错误的。ResourceManager（RM）是YARN（Yet Another Resource Negotiator）的组件，它负责整个集群的资源管理和调度，但它不直接调度DataNode上的工作。DataNode是HDFS的一部分，负责数据存储，而ResourceManager调度的是NodeManager（NM）上的工作，NodeManager是执行计算任务的节点。

其他选项的说明：

A：ResourceManager也叫JobTracker - 这个描述在早期可能有些混淆，但在YARN中，ResourceManager和JobTracker是不同的组件，具有不同的职责。JobTracker是老版MapReduce框架中的作业调度器，而ResourceManager是YARN中的资源管理器。

C：ResourceManager只负责调度DataNode，具体的工作由ResourceManager上的TaskTracker执行实际工作 - 这个描述部分错误。ResourceManager负责调度NodeManager，而不是DataNode。TaskTracker是老版MapReduce中的组件，而在YARN中，NodeManager负责执行具体的任务。

D：ResourceManager不只负责调度DataNode，还执行实际的读写任务 - 这个描述是错误的，因为ResourceManager不执行实际的读写任务。ResourceManager负责分配资源和调度任务，但实际的读写操作由NodeManager执行。

4. 简述下面关于 HDFS 中 SecondaryNameNode 描述正确的一项是 ？

A：它是 NameNode 的热备
B：它对内存没有要求
C：它的目的是帮助 NameNode 合并 editlog，减少 NameNode 启动时间
D：SecondaryNameNode 应与 NameNode 部署到一个节点

描述正确的一项是：

C：它的目的是帮助 NameNode 合并 editlog，减少 NameNode 启动时间 - SecondaryNameNode 的主要作用是周期性地从Active NameNode中获取编辑日志（editlog）和文件系统映像（fsimage），然后合并它们，以减少检查点操作的频率，从而减轻Active NameNode的负担并减少其启动时间。

其他选项的说明：

A：它是 NameNode 的热备 - 这个描述是错误的。SecondaryNameNode 不是NameNode的热备，它不参与NameNode的故障转移。热备通常由其他机制如ZooKeeper Failover Controller (ZKFC)和HDFS HA（高可用性）配置来实现。

B：它对内存没有要求 - 这个描述是错误的。SecondaryNameNode 需要足够的内存来处理编辑日志和文件系统映像的合并操作，尤其是当这些文件很大时。

D：SecondaryNameNode 应与 NameNode 部署到一个节点 - 这个描述是错误的。出于故障隔离和性能考虑，通常不建议将SecondaryNameNode与Active NameNode部署在同一节点上。如果它们在同一节点上，那么节点故障可能会导致两者都无法正常工作。

5. 简述关于MapReduce的描述错误的是 ？

A：MapReduce是一个使用简单的软件框架，基于MapReduce的应用程序能够运行在成千上万个商用机器组成的大型集群上，并以一种可靠的方式并行处理上T级别的数据集
B：一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由map任务以完全串行的方式处理它们
C：MapReduce框架会对map的输出先进行排序， 然后把结果输入给reduce任务
D：整个MapReduce框架负责任务的调度和监控，以及重新执行已经失败的任务

描述错误的是：

B：一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由map任务以完全串行的方式处理它们 - 这个描述是错误的。在MapReduce中，输入数据集确实会被切分为多个数据块，但这些数据块由不同的Map任务并行处理，而不是完全串行的方式。MapReduce框架的目的就是利用并行计算来提高处理大量数据集的效率。

其他选项的说明：

A：MapReduce是一个使用简单的软件框架，基于MapReduce的应用程序能够运行在成千上万个商用机器组成的大型集群上，并以一种可靠的方式并行处理上T级别的数据集 - 这个描述是正确的。MapReduce设计用于在大规模集群上并行处理大规模数据集。

C：MapReduce框架会对map的输出先进行排序，然后把结果输入给reduce任务 - 这个描述是正确的。MapReduce框架确保Map任务的输出被排序，这是Shuffle阶段的一部分，之后排序的结果作为Reduce任务的输入。

D：整个MapReduce框架负责任务的调度和监控，以及重新执行已经失败的任务 - 这个描述是正确的。MapReduce框架确实负责任务的调度、执行监控，并且在任务失败时重新执行这些任务。

6. 下面关于Hadoop系统中使用CombineFileInputFormat解决小文件问题的描述错误的是（）

A：CombineFileInputFormat是使用Hadoop API(抽象类CombineFileInputFormat)来解决小文件的问题
B：抽象类CombineFileInputFormat的基本思想是通过使用一个定制的InputFormat允许将小文件合并到Hadoop的分片或块中
C：要使用抽象类CombineFileInputFormat，需要实现3个定制类：CustomCFIF、PairOfStringLong、CustomRecordReader
D：PairOfStringLong要扩展CombineFileInputFormat，创建子类来支持定制格式的输入

描述错误的是：

D：PairOfStringLong要扩展CombineFileInputFormat，创建子类来支持定制格式的输入 - 这个描述是错误的。PairOfStringLong实际上并不是一个需要扩展CombineFileInputFormat的类。PairOfStringLong是一个用于存储字符串和长整型数据对的简单类，通常用作MapReduce作业中的键类型，而不是与CombineFileInputFormat直接相关。

其他选项的说明：

A：CombineFileInputFormat是使用Hadoop API(抽象类CombineFileInputFormat)来解决小文件的问题 - 这个描述是正确的。CombineFileInputFormat是Hadoop API的一部分，用于解决小文件问题。

B：抽象类CombineFileInputFormat的基本思想是通过使用一个定制的InputFormat允许将小文件合并到Hadoop的分片或块中 - 这个描述是正确的。CombineFileInputFormat允许小文件被合并处理，作为一个大的逻辑输入分片。

C：要使用抽象类CombineFileInputFormat，需要实现3个定制类：CustomCFIF、PairOfStringLong、CustomRecordReader - 这个描述部分正确，但可能存在误解。使用CombineFileInputFormat时，通常需要实现自定义的InputFormat类（这里称为CustomCFIF），可能需要一个特定的键值类型（如PairOfStringLong），并实现自定义的RecordReader类（CustomRecordReader），用于处理合并后的输入分片。不过，PairOfStringLong不是一个需要实现的类，而是可能被用作自定义InputFormat中的键类型。

7. 简述部署Hadoop集群的核心文件为 ？

A：hadoop-env.sh
B：core-site.xml
C：mapred-site.xml
D：hdfs-site.xml

部署Hadoop集群的核心配置文件包括：

B：core-site.xml - 这个文件包含Hadoop集群的核心配置，如HDFS的URI和其他核心服务的配置。

D：hdfs-site.xml - 这个文件包含HDFS特定的配置，如副本因子、DataNode和NameNode的设置。

虽然A和C也是Hadoop配置的一部分，但它们不是部署Hadoop集群时的核心文件：

A：hadoop-env.sh - 这个脚本文件用于设置Hadoop环境变量，如Java home目录等。

C：mapred-site.xml - 这个文件包含MapReduce作业的配置，它在YARN引入后变得不那么重要了，因为许多配置项已经迁移到了其他配置文件中。

因此，对于部署Hadoop集群来说，core-site.xml和hdfs-site.xml是核心配置文件。在Hadoop 2.x及以后的版本中，还应该包括yarn-site.xml用于配置YARN相关的设置。