分布式文件系统架构

最新推荐文章于 2023-07-13 10:36:16 发布
最新推荐文章于 2023-07-13 10:36:16 发布
阅读量2.4k 收藏 1
点赞数
文章标签： 架构 hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bazinga23333/article/details/121107981
版权

分布式文件系统架构

  • FS (File System)
    • 文件系统是基于硬盘上的一个文件管理的工具
    • 我们用户操作文件系统可以和硬盘解耦
  • DFS (Distributed File System)
    • 分布式文件系统
    • 将数据存放到多台电脑上存储
    • 分布式文件系统有很多
    • HDFS(Hadoop Distributed File System)是Map Reduce计算的基础

文件切分思想

  • 文件存放在一个磁盘上效率低
    • 读取效率低
    • 如果文件特别大会超出单台机器的存储范围
  • 字节数组
    • 文件在磁盘真实存储文件的抽象概念
    • 数组可以进行拆分和组装，源文件不会受到影响
  • 切分数据
    • 对字节数组进行切分
  • 拼接数据
    • 按照数组的偏移量将数据连接到一起，将字节数组连接到一起
  • 偏移量
    • 当前数据在数组中的相对位置，可以理解为下标
    • 数组都有对应的索引（下标），可以快速地定位数据
  • 数据存储的原理
    • 不管文件的大小，所有的文件都是由字节数构成
    • 如果要切分文件，就是将i个字节数组分成多份
    • 只要将切分后的数据拼接到一起，数据就可以继续使用
    • 拼接的时候需要参照的是每个数据的偏移量
    • image-20211102104747036

Block拆分标准

  • 拆分的数据块需要等大

    • 数据计算的时候简化问题的复杂度
      • 进行分布式算法设计的时候，数据不统一，算法很难设计
    • 数据读取的时间相对一致
    • 通过偏移量可以知道数据块的位置
    • 相同文件，分成的数据块大小应该相等

  • 数据块Block

    • 数据被切分后的一个整体成为数据块
    • 在Hadoop1.0中默认大小为64M，在Hadoop2.0及其以后默认大小为128 M
    • 在同一个文件中，每个数据块大小要一致，除了最后一个节点之外
      • 不同文件中，块的大小可以不一致
      • 文件大小不同可以设置不同的块的数量
    • 真实情况下，会根据文件大小和集群节点的数量综合考虑块的大小
    • 数据块的个数=ceil（文件大小/每个块的大小）

  • 注意事项

    • HDFS中一旦文件被存储，数据便不被允许被修改
      • 修改会影响偏移量
      • 修改会导致数据倾斜
      • 修改数据会导致蝴蝶效应
    • 可以被追加数据，但是不推荐
      • 追加设置需要手动打开
    • 一般HDFS存储的都是历史数据。所以将来Hadoop的Mapreduce都会被用来进行离线数据处理
    • 一旦文件被上传之后，块的大小就不允许被修改，之后的可以适当缩小
      • 块大小范围：128M-512M
    • 如果数据文件的切割点128M正好是一个单词的中间部分，切分数据如何保证数据的完整性？
      • 根据每个字符的偏移量，可以来为不同块的字符找到其原来的文件中的位置
      • 参考文件拆分思想中的数据存储原理

Block数据安全

  • 肯定是要对数据进行备份
  • 备份的数据不能存放在一个节点上
  • 存储的副本数据要尽可能的近，这样获取数据的速度会很快从而减少读取的代价
  • 备份的数量小于等于节点数量
    • 备份的数据节点越多的话，可能导致资源浪费严重
    • 备份少的话，发生集体崩溃的可能性会增大
    • 备份数量是通过数据的使用频率和数据的重要性来决定的
  • 默认每个数据块会有3个副本，相同副本是不会存放在同一个节点上
  • 副本的数量可以变更
    • 如果数据近期被使用的可能性很大，那么可以多设置一些数据备份
    • 后期数据很少被分析，可以减少副本数量

image-20211102194001594

​

Block管理效率

  • 需要专门给节点进行分工
    • DataNode：存储数据，存储的数据块（data block）
    • NameNode：记录数据。用来管理/分配所有访问对应DataNode的进程，监控对应DataNode的状态以及对应NameNode都做了什么，NameNode对DataNode进行记录
    • SecondaryNameNode：数据日志

image-20211102142031496

HDFS的特点

优点

  1. 高容错性

    • 保存多个副本，并且提供容错机制

    • 副本丢失或宕机后自动恢复。默认保存三个副本

  2. 可以运行在廉价的机器上

    • 通过副本提高可靠性
    • 提供容错机制和恢复机制

  3. 适合批处理

    • 移动计算而非数据
    • 数据位置暴露给计算框架，这样所有节点都可以进行数据访问

  4. 适合大数据的处理

    • TB级数据处理，甚至是PB级数据的处理
    • 百万规模以上的文件数量
    • 10K+节点规模

  5. 流式数据访问

    • 一次写入，多次读取，高吞吐量，所以可以同时处理大量数据

  6. 批处理和流处理

    • 批处理：安按照一个定量不停的处理

    • 流处理：源源不断，上流不停处理不停

缺点（不适合小量数据处理）

  1. 不擅长低延迟数据访问

    • 比如毫秒级

  2. 不擅长小文件分区

    • 占用NameNode大量内存，NameNode是管理datanode并记录block存储到了哪个datanode。所有每存储一个文件会生成一个1k或者几k的数据文件，如果小文件多的话，小文件累积最终也会达到一个比较大的规模
    • 磁盘寻道时间超过读取时间
  • 不擅长并发写入，文件随机修改
    • 一个文件只能有一个写入者
    • 仅支持append向尾部添加（有组件可以实现删除等功能）
Bazinga23333
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop分布式文件系统架构
09-24
hadoop分布式文件系统架构
分布式文件系统FastDFS架构剖析
03-02
FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及FastDFS、mogileFS、HDFS、TFS等类GoogleFS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。FastDFS是为互联网应用量身定做的分布式文件系统，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。和现有的类GoogleFS分布式文件系统相比，FastDFS的架构和设计理念有其独到之处，主
GPFS分布式文件系统架构和原理
11-07
GPFS 简介，GPFS文件系统架构介绍；GPFS文件系统所涉及到的逻辑对象介绍；GPFS集群仲裁机制介绍；
浅析三款大规模分布式文件系统架构设计
JuiceFS的博客
03-09 467
当提到文件系统，大部分人都很陌生。但我们每个人几乎每天都会使用到文件系统，比如大家打开 Windows、macOS 或者 Linux，不管是用资源管理器还是 Finder，都是在和文件系统打交道。如果大家有自己动手装过操作系统的话，第一次安装的时候一定会有一个步骤就是要格式化磁盘，格式化的时候就需要选择磁盘需要用哪个文件系统。维基百科上的关于文件系统的定义是：简而言之，文件系统管理的是某种物理存储介质（如磁盘、SSD、CD、磁带等）上的数据。
分布式数据存储的典型结构
leeta的博客
07-20 1771
目前比较主流的分布式文件系统结构是主 /从( master/slave) 体系结构，如下图所示，通常包括主控节点 ( 或称元数据服务器，通常会配置一个活动节点和一个备用节点以实现高可用性) 、多个数据节点( 或称存储节点) 和各种大数据应用或者终端用户组成的客户端。分布式存储的目的是将大数据划分为小数据，均匀分布至多个数据节点上，将数据的规模降到单个节点可以处理的程度。 1 主控节点 主控节点主要负责管理文件系统名字空间( namespace)和管理客户端的访问。常见的命名空间结构有经典的目录树结构
分布式文件系统HDFS架构解析
牧羊人的方向
04-06 5820
HDFS是以中间控制节点为代表的分布式存储架构，一部分节点 NameNode 是存放管理数据，另一部分节点DataNode存放业务数据。本文简要整理HDFS分布式文件系统的整体架构和关键技术，进一步了解不同分布式存储技术实现原因上的差异。
【系统架构】分布式系统架构设计
热门推荐
颜淡慕潇
07-13 2万+
在分布式系统的设计中，需要综合考虑上述各个方面，根据具体需求进行合理的设计和优化，以实现高效、可靠、安全的分布式系统。
分布式文件系统的结构
weixin_44268098的博客
07-13 2957
块 文件系统采用块的概念，原因是为了减少磁盘寻址时间，把寻道时间分摊到大量数据中 Windows Linux等操作系统，文件系统一般会把磁盘空间划分为每512字节一组，称为“磁盘块” 它是文件系统读写的最小单位，块(Block)的大小通常是磁盘块的整数倍，即每次读写的数据量必须是磁盘块大小的整数倍。 磁盘块--512字节 块的大小一般几千字节 磁盘块与块不是同一概念 分布式文件系...
3.1.1 HADOOP框架（分布式集群的搭建、启动，HDFS分布式文件系统）
weixin_47134119的博客
01-22 1188
3.1.1 HADOOP框架 文章目录3.1.1 HADOOP框架四.Apache Hadoop 完全分布式集群搭建4.1 虚拟机环境准备4.2 集群规划4.3 安装Hadoop4.3.1 集群配置4.3.2 分发配置4.4启动集群4.4.1 单节点启动4.1.1 maven介绍 四.Apache Hadoop 完全分布式集群搭建 4.1 虚拟机环境准备 三台虚拟机（静态IP，关闭防⽕墙，修改主机名，配置免密登录，集群时间同步） 在/opt⽬录下创建⽂件夹 mkdir -p /opt/lagou
分布式系统框架
weixin_52437323的博客
03-01 84
分布式文件系统架构
开源组件系列（6）：分布式文件系统（HDFS）
晓阳的数据小站
02-26 1379
（一）概述 在海量数据的业务场景中，我们每天采集的数据通常是GB级别的，系统所存储的数据通常是TB级别的，甚至是PB级别。为了应为数据存储的管理和扩展问题，大数据集群通常采用横向扩展的方式来满足数据增长的需求，即以网络互连的节点为单位扩大存储容量。为了构建横向扩展的分布式文件系统，通常需要解决如下几个问题： 1.数据能备份：由于横向扩展的集群节点通常采用廉价的服务器，因而出现故障的几率较...
分布式文件系统HDFS
qq_51580006的博客
06-15 2114
兼容廉价的硬件设备流数据访问：一次写入、多次读取大数据集简单的文件模型强大的跨平台兼容性不适合低延迟数据访问：几十ms范围的，HDFS以数据以数据呑吐量为目标，可能会提高时间的延迟。无法高效存储大量小文件：namenode将文件系统的元数据保存在内存中，因此文件系统存储的文件总数有限。不支持多用户写入及任意修改文件HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。名称节点作为。
常见分布式文件系统
lsn的博客
12-14 6802
分布式文件系统: 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以"发表"一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机
一文看懂分布式存储架构
weixin_70730532的博客
07-29 1万+
目录一、集中存储结构二、分布式存储1 、分布式存储的兴起2 、分布式存储的重要性3 、分布式存储的种类和比较三、分布式理论浅析1 、一致性和可用性2 、数据分布3 、复制4 、分布式协议5、跨机房部署四、分布式文件系统1、 Google 文件系统（ GFS ）2、 Taobao 文件系统（ TFS ）3、 Fackbook Haystack 文件系统4、 CDN 内容分发网络五、分布式键值系统1、 Amazon Dynamo2、 Taobao Tiar3、 ETCD4 、产品选型比较（ Etcd ， Zoo
存储调研：MooseFS分布式文件系统体系结构
渡江客涂鸦板
05-20 967
MooseFS是一个容错的网络分布式文件系统。将数据分散在多个物理服务器中，但对于用户其实是作为一个可见资源。
分布式文件存储系统架构和原理
阅后即焚
02-22 2749
架构 　如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。 　　NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间； 　　SecondaryNameNode：是一个小弟，分担大哥namenode的一部分工作量；是NameNode的...
主流的分布式文件系统
qq_44772414的博客
07-31 1万+
NFS(网络文件系统) 网络文件系统，英文Network File System(NFS)，是由SUN公司研制的UNIX表示层协议(presentation layer protocol)，能使使用者访问网络上别处的文件就像在使用自己的计算机一样。 (1)在客户端上映射NFS服务器的驱动。 (2)客户端通过网络访问NFS服务器的硬盘完全透明 ...
腾讯分布式文件系统CFS架构
最新发布
04-10
腾讯分布式文件系统（CFS）是腾讯自主研发的一种高可用、高性能的分布式文件系统。它的架构设计主要包括以下几个组件： 1. 元数据服务器（Metadata Server）：负责管理文件系统的元数据，包括文件和目录的结构、权限信息等。元数据服务器采用主备模式，主服务器负责处理元数据的读写请求，备份服务器用于容灾和故障恢复。 2. 数据服务器（Data Server）：负责存储和管理实际的文件数据。数据服务器采用分布式存储方式，将文件数据划分为多个块，并在多台服务器上进行存储和备份，以提高数据的可靠性和性能。 3. 客户端（Client）：用户通过客户端与CFS进行交互，包括上传、下载、删除文件等操作。客户端通过与元数据服务器通信获取文件的元数据信息，并与数据服务器进行数据的读写操作。 4. 命名空间（Namespace）：CFS采用层次化的命名空间结构，类似于传统的文件系统。用户可以通过目录结构来组织和管理文件。 5. 缓存系统（Cache System）：为了提高访问性能，CFS引入了缓存系统，包括元数据缓存和数据缓存。元数据缓存用于缓存元数据信息，减少与元数据服务器的通信次数；数据缓存用于缓存文件数据，减少与数据服务器的读取次数。 6. 容灾和故障恢复：CFS具有高可用性和容灾能力，通过主备模式和数据备份来保证系统的可靠性。当主服务器或数据服务器发生故障时，系统可以自动切换到备份服务器或备份数据进行恢复。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值