1.Hadoop组成
Hadoop主要由三大模块组成:
1.1 HDFS
存储模块
-
分布式文件存储系统
-
提供了高可靠性、高扩展性和高吞吐率的数据存储服务
-
hdfs典型结构:物理结构+逻辑结构
1.2. YARN
资源调配模块(引擎)(分布式资源管理框架)
- 负责集群资源的管理和调度
1.3. MapReduce
计算引擎
-
分布式计算框架(计算向数据移动–>移动计算而非移动数据)
-
具有易于编程、高容错性和高扩展性的优点
2.HDFS存储模型
-
文件线性切割成Block:偏移量(offset)
-
Block分散存储在集群节点中
-
单一文件Block大小一致,文件与文件可以不一致
-
Block可以设置副本数,副本分散在不同的节点中
-
副本数不要超过节点数量
-
文件上传可以设置Block大小和副本数
-
已上传的文件Block副本数可以调整,大小不变
-
只支持一次写入多次读取,同一时刻只有一个写入者
-
只能追加,不能修改
3.HDFS架构模型
-
文件的元数据(metadata)和文件数据是分开存储
-
(主)NameNode存储文件元数据,单节点(posix)
-
(从)DataNode存储文件数据
-
DataNode与NameNode保持心跳,由dataNode提交Block列表
-
HdfsClient(用户)与NameNode交互元数据信息
-
HdfsClient(用户)与DataNode交互文件数据信息
4.NameNode
4.1 基于内存存储
-
只存在内存中(除了初始化和持久化的时候跟硬盘打交道,其余时候全部在内存中操作)
-
持久化操作(假设内存只有1G,现在数据有1.2G,则需要做持久化)
-
不存储Block位置信息(由DataNode上报给NameNode)-不存储到fsimage中
-
NameNOde的metadata信息在启动后加载到内存
-
Metadata信息存储到fsimage文件中
-
edits记录对metadata的操作日志(类似redis)
4.2 NameNode主要功能
接受客户端的读写要求
收集DataNode汇报的Block列表信息
4.3 NameNode保存Metadata主要信息
文件Owership和pemissions
文件大小和时间
Block列表(offset等)
Block每个副本的位置(由DataNode上报)
- DataNode
本地磁盘目录存储数据(Block),文件形式
同时存储Block的元数据信息
启动datanode时,会向namenode汇报block信息
通过向NameNode发送心跳信息保持与其联系(每3秒一次),如果NameNode 10分钟没有收到DataNode的心跳,则认为其已经lost,则将其block信息copy到其他DataNode上
6.HDFS优点
高容错性
-
数据自动保存多个副本
-
副本丢失后,自动恢复
适合批处理
-
移动计算非数据(把计算的逻辑在有数据的地方进行计算)
-
数据位置暴露给计算框架
适合大数据处理
-
GB TB 甚至PB级数据
-
百万规模以上的
可构建在廉价的机器上
7.HDFS缺点
无法进行低延迟数据访问
-
比如毫秒级
-
低延迟与高吞吐率
小文件存取
-
占用NameNode大量内存
-
寻道时间超过读取时间
并发写入、文件随机修改
-
一个文件只能有一个写者
-
仅支持append
8.Block副本的放置策略
第一个副本:放置在上传文件的datanode上,如果是集群外提交,则随机挑选一台磁盘不太满,cpu不太忙的节点
第二个副本:放置在第一个副本不同的机架的节点上
第三个副本:与第二个副本相同的机架的节点
更多副本:随机节点
11.总结
HDFS就是一个分余展的大硬盘:分–分块 余–可以冗余,展–动态扩展
云计算:分布式计算,分布在不懂服务器中的计算
设计原则:移动计算,而不是移动数据
在生产环境中,nameNode和resourceManager一般情况是在不同机器上,而nodeManageer和datanode一般情况是在同一台机器上(至少离得近)