分布式文件存储
文件系统
文件系统是负责管理和存储文件的系统软件，操作系统通过文件系统提供的接口去存取文件，用户通过操作系统访问磁盘上的文件。
分布式文件系统
分布式文件系统可以简单理解为：一个计算机无法存储海量的文件，通过网络将若干计算机组织起来共同去存储海量的文件，去接收海量用户的请求，这些组织起来的计算机通过网络进行通信，如下图：
好处：
1、一台计算机的文件系统处理能力扩充到多台计算机同时处理。
2、一台计算机挂了还有另外副本计算机提供数据。
3、每台计算机可以放在不同的地域，这样用户就可以就近访问，提高访问速度。
在分布式文件系统中，每个节点通常不会存储完整的所有文件信息，而是将文件数据分割成块或片段，并将这些块分布式地存储在多个节点上。
具体来说，分布式文件系统采用数据分片和冗余备份策略，将一个文件分割成多个块或片段，并在多个节点上保存这些块。这样做的目的是提高系统的性能、可扩展性和容错性。
分布式文件系统的数据分片和冗余备份策略带来以下好处：
-
高性能：文件的数据分片允许系统可以并行读写数据，从而提高数据访问性能。多个节点同时处理不同的数据块，加快数据的传输和处理速度。
-
可扩展性：分布式存储在多个节点上分布存储文件块，当需要增加存储容量时，可以简单地添加更多的节点，从而实现系统的无缝扩展。
-
容错性：数据的冗余备份保证了系统的容错性。即使某个节点发生故障，文件的数据仍然可以从其他节点中恢复，确保数据的可用性和完整性。
常见的分布式文件系统
NFS
GFS
1）GFS采用主从结构，一个GFS集群由一个master和大量的chunkserver组成。
2）master存储了数据文件的元数据，一个文件被分成了若干块存储在多个chunkserver中。
3）用户从master中获取数据元信息，向chunkserver存储数据。
HDFS
HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的，没有单点性能压力。
下图是HDFS的架构图：
1）HDFS采用主从结构，一个HDFS集群由一个名称结点和若干数据结点组成。
- 名称结点存储数据的元信息，一个完整的数据文件分成若干块存储在数据结点。
3）客户端从名称结点获取数据的元信息及数据分块的信息，得到信息客户端即可从数据块来存取数据。
FastDFS
FastDFS是一个阿里开源的轻量级分布式文件系统
什么是FastDFS - 知乎 (zhihu.com)
云计算厂家
阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%（12 个 9），服务设计可用性（或业务连续性）不低于 99.995%。
官方网站：https://www.aliyun.com/product/oss
百度对象存储BOS提供稳定、安全、高效、高可扩展的云存储服务。您可以将任意数量和形式的非结构化数据存入BOS，并对数据进行管理和处理。BOS支持标准、低频、冷和归档存储等多种存储类型，满足多场景的存储需求。
官方网站：https://cloud.baidu.com/product/bos.html
MinIO
- 轻量，使用简单
- 单文件最大支持5T
- 多语言支持
MinIO集群采用去中心化共享架构，每个结点是对等关系，通过Nginx可对MinIO进行负载均衡访问。
去中心化有什么好处？
在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。
它将分布在不同服务器上的多块硬盘组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。如下图：
Minio使用纠删码技术来保护数据，它是一种恢复丢失和损坏数据的数学算法，它将数据分块冗余的分散存储在各各节点的磁盘上，所有的可用磁盘组成一个集合，上图由8块硬盘组成一个集合，当上传一个文件时会通过纠删码算法计算对文件进行分块存储，除了将文件本身分成4个数据块，还会生成4个校验块，数据块和校验块会分散的存储在这8块硬盘上。
使用纠删码的好处是即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。 比如上边集合中有4个以内的硬盘损害仍可保证数据恢复，不影响上传和下载，如果多于一半的硬盘坏了则无法恢复。
扫一扫
2093
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
