一常用端口号
1、Hadoop3.x
HDFS NameNode 内部通常端口号:8020/9000/9820
HDFS NameNode 对用户的查询端口:9870
Yarn查看任务运行情况:8088
历史服务器:19888
2、Hadoop2.x
HDFS NameNode 内部通常端口号:8020/9000
HDFS NameNode 对用户的查询端口:50070
Yarn查看任务运行情况:8088
历史服务器:19888
二、常用配置文件
1、Hadoop3.x
1、core-site.xml
2、hdfs-site.xml
3、yarn-site.xml
4、mapred-site.xml
5、workers
2、Hadoop2.x
1、core-site.xml
2、hdfs-site.xml
3、yarn-site.xml
4、mapred-site.xml
5、slaves
三、Hadoop组成——Hadoop1.x、Hadoop2.x、Hadoop3.x区别
1、Hadoop1.x组成:
MapReduce(计算+资源调度)
HDFS(数据存储)
Common(辅助工具)
2、Hadoop2.x组成:
MapReduce(计算)
Yarn(资源调度)
HDFS(数据存储)
Common(辅助工具)
3、Hadoop3.x组成:
Hadoop3.x在组成上没有变化。
四、HDFS文件块的大小
1、HDFS的块设置太小,会增加寻址时间,程序一直在找块内的开始位置。
2、HDFS的块设置太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时,会非常慢。
总结:HDFS块的大小设置主要取决于磁盘传输速率。