关于Hadoop的面试题

一常用端口号

1、Hadoop3.x

HDFS NameNode 内部通常端口号：8020/9000/9820

HDFS NameNode 对用户的查询端口：9870

Yarn查看任务运行情况：8088

历史服务器：19888

2、Hadoop2.x

HDFS NameNode 内部通常端口号：8020/9000

HDFS NameNode 对用户的查询端口：50070

Yarn查看任务运行情况：8088

历史服务器：19888

二、常用配置文件

1、Hadoop3.x

1、core-site.xml
2、hdfs-site.xml
3、yarn-site.xml
4、mapred-site.xml
5、workers

2、Hadoop2.x

1、core-site.xml
2、hdfs-site.xml
3、yarn-site.xml
4、mapred-site.xml
5、slaves

三、Hadoop组成——Hadoop1.x、Hadoop2.x、Hadoop3.x区别

1、Hadoop1.x组成：

MapReduce（计算+资源调度）
HDFS（数据存储）
Common（辅助工具）

２、Hadoop２.x组成：

MapReduce（计算）
Yarn（资源调度）
HDFS（数据存储）
Common（辅助工具）

３、Hadoop３.x组成：

Hadoop3.ｘ在组成上没有变化。

四、HDFS文件块的大小

１、HDFS的块设置太小，会增加寻址时间，程序一直在找块内的开始位置。

２、HDFS的块设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。

总结：ＨDFS块的大小设置主要取决于磁盘传输速率。