分布式文件存储系统的优点和缺点

最新推荐文章于 2025-04-18 22:00:01 发布
原创 最新推荐文章于 2025-04-18 22:00:01 发布
· 3.3k 阅读 · 2 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式 #hdfs #hadoop

本文深入解析HDFS（Hadoop分布式文件系统）的架构与特点，包括其分布式特性、适用场景及优缺点。强调HDFS适合大数据量存储，尤其是大规模文件，并讨论了其在小文件存储和实时访问方面的局限性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

分布式文件存储系统

分布式：在hdfs中由多个服务器组成，每个服务器扮演着不同的角色

HDFS适用于一次写入多次读出，不支持文件修改

优点

1高容错性
一台宕机没有什么问题，不会造成一个数据整体丢失。
丢失的部分数据丢失会很快从其他节点拉取并回复。
2合存储大数据量的文件
数量级
GB TB PB都支持
件规模
适合存储百万规模的数据
3硬件价格低廉
可以使用廉价的物理机

缺点

1不适合存储小文件
这个面试也可能会被问到，请重点理解
造成namenode的元数据储存信息比较多
文件过多会导致寻址时间较长，组合元数据过慢
2适合做实时访问要求比较高的系统
3不适合修改文件
能适合做追加文件
4适合并发操作

HDFS分布式文件系统具有哪些优点？
lmseo5hy的博客
03-23 1万+
随着互联网数据规模的不断增大，对文件存储系统提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存储系统，与传统分布式文件系统一样，HDFS分布式文件系统也是通过计算机网络与节点相连，但也有优于传统分布式文件系统的优点。1. 支持超大文件HDFS分布式文件系统具有很大的数据集，可以存储TB或PB级别的超大数据文件，能够提供比较高的数据传输带宽与数据访问吞吐量，相应的，HDFS开放了一些...
分布式文件存储系统原理及应用
AI天才研究院
08-18 852
作者：禅与计算机程序设计艺术 1.简介 近年来，云计算、大数据、IoT等新兴技术带动了分布式系统的发展，分布式文件存储系统也逐渐成为新一代的基础设施，比如Hadoop、Ceph、GlusterFS等。在不同的分布式文件存储系统中，存在着不同的分布式存储系统结构，但都遵循着相同的基本原理。本文将从分布式文
分布式存储和集中式存储的优缺点及选择
u013165852的博客
04-21 1万+
分布式存储和集中式存储的优缺点及选择 转自中国存储，原文链接：http://www.chinastor.org/SANCunChuQuYuWangLuo/1922.html 大数据时代，数据处理需求急剧增长，SAN存储或NAS存储等传统方式已经不适应业务发展需要，集中式存储再次活跃。那么集中式存储和分布式存储的有缺点分别有哪些呢？在面对二者时我...
告别选型焦虑！主流对象存储方案大比拼：本地存储、OSS、MinIO、Ceph、Apache Ozone 与 OpenIO
最新发布
民工哥的博客
04-18 1591
MinIO 是一款高性能、开源的对象存储系统，专为云原生环境设计，支持存储和管理海量非结构化数据（如图片、视频、日志、备份文件等）。OSS 是云服务提供商（如阿里云、AWS S3）提供的对象存储服务，通过 RESTful API 访问数据，通常用于存储和管理海量非结构化数据，如图片、视频、音频、日志、备份文件等。它与传统存储方式（如块存储、文件存储）有所不同，OSS 以对象为基本单元管理数据，每个对象包含数据本身（如图片、视频）及其元数据（如文件名、类型、创建时间等）。
分布式存储与传统存储对比优缺点
热门推荐
Be_Nice的博客
07-24 1万+
传统的存储以EMC，HDS，NetApp为代表，产品方案以SAN和NAS应用为主。典型的SAN应当属于关系型数据库，数据以块数据为主，所谓结构化数据；而NAS以文件数据为主，可以认为是非结构化数据。期间，也有所谓融合存储或者统一存储，用单一阵列兼顾SAN和NAS应用，所谓SAN+NAS。 实际上，传统阵列存储也在向软硬件分离方向发展，也是一种软件定义的存储方式，在新的方式下，统一的存储不再需要额外的添加NAS机头，用软件方式来实现。 分布式存储方面，以对象存储、软件定义存储、云存储、超融合、Server
HDFS分布式存储系统的优缺点
梦想不会灭
11-26 851
优点： 1.高容错性 数据自动保存多个副本 副本丢失后,自动恢复 2.适合批处理 移动计算而非数据 数据位置暴露给计算框架(Block偏移量) 3.适合大数据处理 GB,TB,甚至PB级别的数据 百万规模以上的文件数量 10K+节点 4.可构建在廉价机器上 通过多副本提高可靠性 提供了容错和恢复机制 缺点： 1.低延迟数据访问 比如毫秒级 低延迟与高吞吐率 2.小文件存储 占用NameNode大量...
漫谈分布式文件存储系统的好与坏
关山岂止万千重
11-15 2323
今天跟同事讨论分布式文件存储系统，说到如何评价一个系统的好与坏，一时还真觉得不太好评判。当然了系统本身的伸缩性、可用性肯定要好，否则无法长期投入稳定运营的，毕竟业务，特别是互联网业务经常会有快速增长或者快速萎缩的现象以及7*24小时不间断服务的需求。那么除了这两个以外，如何评判好与坏呢？实际上很多系统都有自己适用的场景，即使再通用的系统，也总有一些场景表现不如人意。系统支持的功能，以及每种功能接口
分布式文件与分布式存储系统学习总结(持续更新)
小凯的博客
11-23 1618
Linux文件系统 inode 文件存储在硬盘上，硬盘的最小存储单位叫做扇区，每个扇区会存储512byte 操作系统在读取硬盘的时候，不会一个个扇区读取，而是会一次性连续读取多个扇区，多个扇区组成一个block。也就是说读取硬盘的时候是按照块来读的。 块通常是8个sector组成一个block。 文件数据都存储在block中，所以我们还必须要找到一个地方存储文件的metadata，如文件的创建日期...
分布式文件系统简介
siyangcom的博客
05-20 7784
Simon et al. 数据互动协议团队，发表于2022年5月19日 相关概念及定义 分布式文件系统(DFS)，定义为“网络连接的相互依赖的计算机之间共享信息”。不同于典型的文件系统(即NTFS和HFS)，DFS是分布在多个文件服务器或多个位置的文件系统，通过计算机网络进行通信或交换信息。它允许程序像访问本地文件一样访问或存储独立的文件，允许程序员从任何网络或计算机访问文件。通过DFS，可以以受控和授权的方式在网络上的用户之间轻松地共享信息和文件。DFS的主要目的是允许物理分布式系统的用户通过使.
架构师必读：分布式文件系统原理与架构
AI天才研究院
09-10 2306
作者：禅与计算机程序设计艺术 1.简介 随着信息化的发展，越来越多的应用都需要基于云计算、移动互联网、物联网等新型开放环境，并且数据的量级也在不断增长。数据存储成本越来越便宜，传统的数据中心已经无法支持如此规模的文件存储需求。 为了解决这一难题，分布式文件系统（Distributed Fi
第2讲_分布式文件系统HDFS.pdf
08-20
HDFS概述与架构 HDFS（Hadoop Distributed File System）是Apache Hadoop的核心子项目，基于Google File System论文，旨在解决大规模数据...但是，它也存在一些缺点和限制，需要根据实际情况选择合适的存储解决方案。
7种主流分布式文件系统介绍
04-08
整理了当前最主流的7种分布式文件系统（FastDFS MogileFS HDFS`TFS MooseFS KFS Ceph）的概要介绍，可以使你快速了解当前分布式文件系统的特性、各自文件系统实现目标及应用场景，了解这些分布式文件系统的架构特点。
分布式存储与传统SAN、NAS的优、劣对比
weixin_33971205的博客
04-16 6995
传统SAN存储设备一般采用双控制器架构，两者互为备份，配置两台交换机与前端的服务器进行连接，这种双控制器架构方式会有以下两个方面的缺点：1． 网络带宽容易变成整个存储性能的瓶颈；2． 如果一个控制器损坏，系统的性能将大幅下降，影响存储的正常使用。传统存储架构的局限性主要体现在以下几个方面：1、横向扩展性较差受限于前端控制器的对外服务能力，纵向扩展磁盘数量无法有效提升存储设备对外提供服务的能力。同时...
分布式文件存储相关概念
weixin_45565886的博客
06-14 1553
分布式文件存储相关概念
集中式存储与分布式存储的区别
qq_40372902的博客
11-10 4370
是指将数据存储在单个服务器或数据中心中，通过一台或多台服务器来管理数据。是指将数据存储在多个服务器或数据中心中，通过计算机网络来实现数据的共享和访问。
基于HDFS的分布式存储
ymeng9527的博客
11-05 896
1.分布式存储的定义 分布式存储就是指通过网络连接每台机器，使得这些分散的存储资源构成一个虚拟的存储设备，数据分散在每台机器上的各个角落 与集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定节点上的 分布式存储的出现是因为在互联网时代信息数据大爆炸，传统的集中式存储已经难以满足大型应用的数据存储需求 2.分布式存储服务的分类（按数据存储模型来划分） 文件模型 对应分布式文件...
【数据库】分布式数据库
weixin_44727383的博客
03-25 227
数据量不⼤时，单库单表即可⽀撑整个系统。当数据量达到⼀定规模后，则需通过分布式 数据库⽀持。 同时，单点数据库⽆法保证服务⾼可⽤，⼀旦出现宕机整个服务便 “停摆” 了 常⻅的分布式数据库实现⽅式有 “分库” 和 “分表”, 也被称作 “数据分⽚” 数据分⽚ 单表查询能⼒上限: 约为 500 万 左右 ⽅式: 分库、分表 垂直拆分 单表字段太多的时候会进⾏垂直拆分, 不是为了分布式存储，⽽是为了提...
分布式存储优势
weixin_45437959的博客
06-20 2667
分布式存储优势
深入解析Hadoop分布式存储系统HDFS的优缺点与架构
总结来说，HDFS是一个强大且高效的分布式文件系统，适用于大规模数据处理和批处理任务，但在对低延迟和小文件处理方面存在局限性。理解其架构和特性对于在实际项目中正确选择和使用HDFS至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值