Hadoop 面试题（四）

1. 简述Hadoop节点的动态上线下线的大概操作 ？

在Hadoop集群中，节点的动态上下线指的是在不停止整个集群服务的情况下，添加或移除节点。这种能力对于维护和扩展集群非常重要。以下是Hadoop节点动态上线下线的大概操作步骤：

动态上线（添加节点）：

1. 准备新节点：

   • 确保新节点的硬件和网络配置正确，安装了Hadoop的软件包。

2. 配置Hadoop：

   • 在新节点上配置Hadoop环境，包括core-site.xml、hdfs-site.xml、yarn-site.xml等配置文件，确保与现有集群配置一致。

3. 同步集群状态：

   • 如果集群启用了高可用性配置，确保新节点上的NameNode和ResourceManager状态与现有集群同步。

4. 注册节点：

   • 将新节点的标识（如主机名或IP地址）添加到集群的节点列表中，通常是修改slaves或workers文件。

5. 格式化NameNode和DataNode（如果需要）：

   • 如果新节点将作为NameNode或DataNode，可能需要格式化其文件系统命名空间。

6. 启动服务：

   • 在新节点上启动Hadoop守护进程，如DataNode、NodeManager等。

7. 验证注册：

   • 检查ResourceManager和NameNode的UI界面，确认新节点已被注册并正常工作。

8. 负载均衡：

   • 可能需要调整作业调度策略，以实现负载均衡。

动态下线（移除节点）：

1. 停止服务：

   • 在目标节点上停止Hadoop守护进程，如DataNode、NodeManager等。

2. 退避模式：

   • 可选地，将节点设置为退避模式，以避免ResourceManager向其分配新任务。

3. 等待任务完成：

   • 等待节点上正在执行的任务完成或迁移。

4. 数据复制：

   • 确保被下线节点上存储的数据块副本在其他节点上也有备份，以防数据丢失。

5. 从集群中移除：

   • 从集群的节点列表中移除目标节点的标识。

6. 更新集群状态：

   • 如果集群启用了高可用性配置，更新NameNode和ResourceManager的状态。

7. 重新平衡集群：

   • 可能需要触发HDFS的重新平衡操作，以重新分布数据块。

8. 监控影响：

   • 监控集群性能和稳定性，确保移除节点后集群正常运行。

9. 清理资源：

   • 在确定节点不再需要后，清理节点上的Hadoop数据和配置。

动态上线下线操作需要谨慎执行，以确保集群的稳定性和数据的安全性。在执行这些操作之前，通常需要进行充分的规划和测试。

2. 简述Hadoop常用端口号 ？

Hadoop集群中不同的守护进程和组件使用不同的端口进行通信。以下是一些Hadoop中常用的端口号及其对应的组件：

1. NameNode：

   • 端口：8020（HTTP界面，默认情况下用于访问NameNode的Web UI）
   • 端口：50070（HDFS Java RPC接口）

2. DataNode：

   • 端口：50010（BPService，数据传输服务）
   • 端口：50020（HTTP界面，用于访问DataNode的Web UI）

3. ResourceManager（YARN）：

   • 端口：8088（HTTP界面，默认情况下用于访问ResourceManager的Web UI）
   • 端口：8032（YARN Resource Manager Java RPC接口）

4. NodeManager：

   • 端口：8042（YARN Node Manager Java RPC接口）
   • 端口：8040（HTTP界面，用于访问NodeManager的Web UI）

5. Secondary NameNode：

   • 通常使用与NameNode相同的端口，但在不同的进程中运行。

6. HDFS Balancer：

   • 端口：50100（默认情况下用于HDFS Balancer的通信）

7. Hadoop JobTracker（老版本MapReduce）：

   • 端口：8021（HTTP界面，用于访问JobTracker的Web UI）
   • 端口：50300（JobTracker Java RPC接口）

8. Hadoop TaskTracker（老版本MapReduce）：

   • 端口：8031（TaskTracker Java RPC接口）
   • 端口：8042（HTTP界面，用于访问TaskTracker的Web UI）

9. HBase Master：

   • 端口：60000（HBase Master Java RPC接口）
   • 端口：60010（HTTP界面，用于访问HBase Master的Web UI）

10. HBase RegionServer：

    • 端口：60020（HBase RegionServer Java RPC接口）
    • 端口：60030（HTTP界面，用于访问HBase RegionServer的Web UI）

11. ZooKeeper：

    • 端口：2181（默认情况下用于ZooKeeper客户端连接）

请注意，这些端口号可以在Hadoop配置文件中进行自定义设置。在实际部署时，应根据具体需求和安全策略来配置端口。此外，Hadoop生态系统中的其他组件（如Hive、Pig、Oozie等）也可能使用自己的端口。

3. 简述Hadoop参数调优 ？

Hadoop参数调优是确保Hadoop集群高效运行的重要环节。参数调优可以针对不同的组件和场景进行，以下是一些常见的调优方面：

1. 内存调优：

   • 调整JVM堆大小参数，如-Xmx和-Xms，为Hadoop守护进程（如NameNode、DataNode、ResourceManager、NodeManager）设置合适的内存使用量。

2. CPU调优：

   • 根据节点的CPU核心数，合理分配作业的并行度，例如MapReduce作业的map和reduce任务数。

3. 网络调优：

   • 调整网络缓冲区大小，优化数据传输性能。

4. I/O调优：

   • 优化磁盘I/O性能，比如调整DataNode的磁盘存储路径，使用RAID配置等。

5. HDFS块大小调整：

   • 根据数据特性和集群规模，调整HDFS的块大小（dfs.blocksize），以优化存储效率和网络传输。

6. 副本因子调整：

   • 根据数据的重要性和存储成本，调整副本因子（dfs.replication）。

7. MapReduce作业调优：

   • 调整MapReduce作业的配置参数，如map和reduce任务的内存使用（mapreduce.map.memory.mb、mapreduce.reduce.memory.mb）。

8. YARN资源管理调优：

   • 调整YARN的资源分配参数，如每个容器的内存和CPU核心数。

9. 高可用性配置：

   • 优化NameNode和ResourceManager的高可用性配置，确保故障转移的平滑性。

10. 数据压缩：

    • 根据网络带宽和存储需求，选择合适的数据压缩算法和压缩率。

11. Speculative Execution：

    • 开启或调整作业的推测执行（mapreduce.map.speculative），以处理慢节点问题。

12. 垃圾收集调优：

    • 选择和调整适合的垃圾收集器，优化GC性能。

13. 小文件问题：

    • 处理HDFS中的小文件问题，比如通过合并小文件来减少NameNode的负担。

14. JVM参数调优：

    • 调整JVM的垃圾收集和内存管理参数，以适应不同的工作负载。

15. 网络拓扑感知：

    • 利用网络拓扑感知优化任务调度，减少数据传输延迟。

16. 日志级别调优：

    • 根据需要调整日志记录级别，避免日志文件过大。

参数调优是一个持续的过程，需要根据实际工作负载和集群性能监控结果进行调整。通常，调优需要结合测试和监控来进行，以确保找到最优的配置。

4. 简述Hadoop常用命令中，启动hadoop所有进程的命令正确的是（） ？

A：start-all.sh
B：start-yarn.s
C：start-dfs.sh
D：start-yarn.sh

正确的命令是：

A：start-all.sh - 这个脚本用于启动Hadoop集群中的所有守护进程，包括HDFS和YARN的守护进程。

另外，还有：

C：start-dfs.sh - 这个脚本仅启动与HDFS相关的守护进程，如NameNode、SecondaryNameNode、DataNode等。

D：start-yarn.sh - 这个脚本仅启动YARN相关的守护进程，如ResourceManager、NodeManager等。

B选项中的命令存在拼写错误，正确的应该是start-yarn.sh。不过，由于选项D已经包含了正确的命令，所以D也是正确的。通常，如果需要启动整个Hadoop集群，会使用start-all.sh命令。

5. 简述Hadoop生态圈中ZooKeeper的作用描述错误的选项是（） ？

A：ZooKeeper是一个开源的分布式应用程序协调服务
B：基于ZooKeeper可以实现同步服务
C：ZooKeeper可以实现配置维护、命名服务
D：ZooKeeper负责文件系统底层读写

选项D “ZooKeeper负责文件系统底层读写” 是描述错误的。ZooKeeper并不负责文件系统的底层读写操作，它主要用于维护和监控配置信息、命名、提供分布式同步和组服务等。

正确选项的简述如下：

A: ZooKeeper是一个开源的分布式应用程序协调服务 —— ZooKeeper提供了一个简单的接口和一致性模型，用于分布式环境中的协调。

B: 基于ZooKeeper可以实现同步服务 —— ZooKeeper可以用来实现分布式锁和同步服务，帮助在分布式系统中维护状态的一致性。

C: ZooKeeper可以实现配置维护、命名服务 —— ZooKeeper可以用来存储和维护集群的配置信息，以及提供命名服务，如在Hadoop HA配置中选举Active NameNode。

ZooKeeper是Hadoop生态系统中的重要组成部分，特别是在需要高可用性和动态协调的场景中。

6. 简述关于 HDFS 安全模式说法正确的是（） ？

A：TaskNode
B：SecondaryNameNode
C：DataNode
D：ResourceManager

在Hadoop分布式文件系统（HDFS）中，“安全模式”（Safe Mode）是一种特殊的运行状态，在这个状态下，HDFS会限制某些操作，以确保数据的完整性和一致性。以下是与HDFS安全模式相关的说法中正确的选项：

C：DataNode - DataNode是HDFS的一部分，它会在安全模式下与NameNode通信，报告其存储的块信息。NameNode使用这些信息来确定集群的健康状况并管理数据的副本。

其他选项的说明：

A：TaskNode - 这不是HDFS的标准组件，可能是一个拼写错误或特定上下文中的术语。在Hadoop MapReduce中，执行任务的节点被称为TaskTracker（老版本）或NodeManager（YARN版本）。

B：SecondaryNameNode - SecondaryNameNode并不是安全模式的一部分，但它辅助NameNode工作，通过合并编辑日志和文件系统映像来帮助维护集群状态。

D：ResourceManager - ResourceManager是YARN的组件，负责资源管理和作业调度，它与HDFS的安全模式没有直接关系。

因此，正确答案是C：DataNode。在HDFS的安全模式下，NameNode会等待接收到来自足够多的DataNode的心跳和块报告，以确保集群状态稳定后，才会退出安全模式。