hadoop学习笔记—基础篇

HDFS( Hadoop Distribute File System)结构

NameNode 名字节点

存储元数据 元素数据保存在内存中 保存文件block datanode之间的映射关系

DataNode 数据节点

存储文件内容 文件内容保存在磁盘 维护了block id到datanode本地文件的映射关系

一个名字节点和多个数据节点

数据复制（冗余机制）

故障检测

数据节点

心跳包（检测宕机）

块报告（安全模式检测）

  数据完整性检测（校验 比较）

名字节点（日志文件 镜像文件）

空间回收机制

HDFS优点

高容错性 适合批处理 适合大数据处理（GB TB PG）构建在廉价机上

缺点：低延迟数据访问 低延迟与高吞吐率 不适合小文件存取 并发写入文件随机修改（仅支持append）

HDFS数据存储单元（block）

默认大小64MB,

NameNode 主要功能：接受客户端的读写服务（内存中存储fsimage+edits）

NameNode保存metadata（（元数据）信息

（owership 和permission文件）

 文件包含哪些块

 block保存在那个DataNode（由DataNode提交）

NameNode的信息启动后会加载到内存

metadata(存储到磁盘文件名 fsimage )

block保存位置信息不会保存到fsimage

edits记录对metadata的操作日志

HDFS保存多个副本提供宕机自动恢复（默认3个）

NameNode：管理数据映射，处理客户端请求，配置副本策略，管理HDFS名称空间

SecondaryNameNode：分担NameNode工作量，合并fsimage和fsedits后给NameNode

负责默认1小时从namenode获取fsimage和edits的合并

DataNode:负责存储client发的数据块block执行读写操作

fsimage：元数据镜像文件(系统的目录树)