hadoop学习笔记—基础篇

HDFS( Hadoop Distribute File System)结构

NameNode 名字节点

存储元数据 元素数据保存在内存中 保存文件block datanode之间的映射关系

DataNode 数据节点

存储文件内容 文件内容保存在磁盘 维护了block iddatanode本地文件的映射关系

一个名字节点和多个数据节点

数据复制(冗余机制)

故障检测

数据节点

心跳包(检测宕机)

块报告(安全模式检测)

  数据完整性检测(校验 比较)

名字节点(日志文件 镜像文件)

空间回收机制

HDFS优点

高容错性 适合批处理 适合大数据处理(GB TB PG)构建在廉价机上

缺点:低延迟数据访问 低延迟与高吞吐率 不适合小文件存取 并发写入文件随机修改(仅支持append

HDFS数据存储单元(block

默认大小64MB,

NameNode 主要功能:接受客户端的读写服务(内存中存储fsimage+edits

NameNode保存metadata((元数据)信息

owership permission文件)

 文件包含哪些块

 block保存在那个DataNode(由DataNode提交)

NameNode的信息启动后会加载到内存

metadata(存储到磁盘文件名 fsimage )

block保存位置信息不会保存到fsimage

edits记录对metadata的操作日志

HDFS保存多个副本提供宕机自动恢复(默认3个)

NameNode:管理数据映射,处理客户端请求,配置副本策略,管理HDFS名称空间

SecondaryNameNode:分担NameNode工作量,合并fsimagefsedits后给NameNode

负责默认1小时从namenode获取fsimageedits的合并

DataNode:负责存储client发的数据块block执行读写操作

fsimage:元数据镜像文件(系统的目录树)




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值