今天的考试内容,没有答对的,或者记得不熟的看考试题文档
不知道自己错了哪里
hadoop1.x和hadoop2.x区别?hadoop的发行版本有哪些?
hadoop1.x | hadoop2.x | |
---|---|---|
MapReduce | 计算+资源调度 | 计算 |
Yarn | 无 | 资源调度 |
HDFS | 数据储存 | 数据储存 |
Common | 辅助工具 | 辅助工具 |
概念理解(需要总结以下)
HDFS组成作用:
NameNode (储存文件的元数据,以及每个文件的块列表和块所在DataNode等。)
DataNode (在本地文件系统存储文件块数据,以及块数据的校检和。)
Secondary NameNode (监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。)
YARN组成作用:
ResourceManager (处理客户端请求;监控Node Manager;启动或监控ApplicationMaster;资源的分配与调度。)
Node Manager(管理单个节点上的资源;处理来自ResourceManager的命令;处理来自ApplicationMaster的命令。)
MapReduce组成和作用:
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
sbin目录:存放启动或停止Hadoop相关服务的脚本
share目录:存放Hadoop的依赖jar包、文档、和官方案例## hadoop文件夹下的文件夹作用归纳