大数据学习笔记(二)分布式文件系统HDFS

本文详细介绍了HDFS的工作机制,包括SeconderyNameNode的作用、HDFS的存储原理、数据管理策略、数据读取和写入过程。重点阐述了数据的冗余机制、存放策略和错误恢复,以及NameNode和DataNode的角色和交互。
摘要由CSDN通过智能技术生成

(一)SeconderyNameNode 第二名称节点作用

1.解决Editlog不断增大的问题(定期地和名称节点进行通讯,当EditLog文件达到一定程度,就停止使用EditLog文件,名称节点停止当前EditLog的使用,并生成新的Editlog,同时将老的EditLog丢给第二名称节点 ,第二名称节点处理将就得Editlog和FsIamge合并,生成新的FsImage后交给名称节点)

2.充当名称节点的冷备份
冷备份是当第一名称节点发生故障后,必须停止一段时间,慢慢恢复,再提供对外服务
名称节点也称管家

在这里插入图片描述

DataNode数据节点作用是保存数据

(二)HDFS存储原理

(1)冗余数据机制,一个数据块会被默认的保存三次,好处:

1、加快数据传输速度
2、很容易检查数据错误
3、保证数据可靠性

冗余备份一旦低于用户的设置量,会立即进行复制来达到用户设置量

(三)数据管理策略

(1)数据存放策略:采用随机算法计算,每个块放置在不同的数据节点(

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值