HDFS 知识点总结

HDFS 知识点总结

一 什么是HDFS ？
HDFS 是一个分布式存储系统,用来存储海量数据的一个存储系统.
使用场景
1 ) 存储海量数据文件
2 ) 使用于 一次存储多次读取
3 ) 不适用于存储大量的小文件
4 ) 不适用于数的随机修改
5 ) 每个文件都会记录元数据
二 HDFS 特点
1 ) 高容错性 ,安全性
2 ) 可扩展性
3 ) 默认存储数据切块大小128M , 默认副本是3 个
4 ) 数据支持随机读取
5 ) 存储在HDFS 上的数据不允许随机写,并发写,追加,覆盖
6 ) 数据访问延迟比较高(需要去请求数据与数据存储交互所以比较慢)
7 ) 不适合存储大量小文件
三 HDFS 主从结构
1 主结构 namenode
1 ) 接收子节点的注册 管理维护整个集群
2 ) 管理存储的元数据
3 ) 对用户的操作行为 进行日志存储
4 ) 接收datanode心跳机制,和存储信息,适当的做一些负载均衡和副本存储
5 ) 维护子节点的上下感知
6 ) 维护统一的虚拟目录
7 ) 接收客户端的读写请求
8 ) 负责存储的计算和划分
2 从结构 datanode
1 ) 注册id
2 ) 是真正的存储节点
3 ) 直接处理客户端的请求
3 ) 定时汇报心跳机制 和存储数据
4 ) 接收namenode 分配的任务信息
5 ) 整体数据的定时汇报 1H
四 HDFS 中的seconery namenode
一句话概括就是:
定期合并日志文件和镜像文件 序列化成新的镜像文件返回给namenode
删除老的镜像文件和日志文件

知识点而已的啦,不要激动!!!