Hadoop学习笔记入门须知

1.Hadoop的主要组成部分

　　HDFS:分布式文件存储（海量数据的存储）

　　MapReduce:分布式计算（海量数据的计算和分析）

　　YARN:资源管理调度（多个任务排队执行还是同时执行）

2.HDFS:解决海量数据的存储

　　HDFS由3种主要的节点构成：

　　　　1) NameNode  主节点：用来存储数据的存放位置等元数据（不存放数据）

　　　　　　•接收用户操作请求

　　　　　　•维护文件系统的目录结构

　　　　　　•管理文件与block之间关系，block与datanode之间关系

　　　　2) DataNode 从节点：只用来存储数据

　　　　　　•存储文件

　　　　　　•文件被分成block存储在磁盘上

　　　　　　•为保证数据安全，文件会有多个副本

　　　　3) SecondaryNameNode   辅助NameNode运行，将NameNode产生的元数据持久化到磁盘上

3.MapReduce的计算模型

4.Hadoop集群的无密登录

　　配置ssh的公钥

转载于:https://www.cnblogs.com/fengcha0/p/10133959.html