HDFS 的优势与劣势

最新推荐文章于 2023-01-06 08:40:00 发布
最新推荐文章于 2023-01-06 08:40:00 发布
阅读量297 收藏 1
点赞数 1
分类专栏： 虚拟机数据库专栏 文章标签： hdfs 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68687919/article/details/126784558
版权

HDFS 的优势

  1. 设备低成本可以部署在廉价服务器搭建的集群上
  2. 高容错
  3. 数据自动保存多个副本
  4. 副本丢失后，自动恢复
  5. 适合批处理
  6. 一次写入，多次查询
  7. 适合存储大文件
  8. TB 甚至 PB 级别的数据量
  9. 百万规模以上的文件数量
  10. 10K+ 的节点数量

HDFS 的劣势

  1. 不适合低延迟访问
  2. 注重吞吐量，牺牲实时性
  3. 达不到毫秒级别的延迟
  4. 不适合存储大量小文件（小于 block size 的文件）
  5. 占用 NameNode 大量内存
  6. 寻道时间超过读取时间
  7. 不适合修改文件
  8. 文件的修改只支持追加操作
  9. 一个文件只能有一个修改者

 

琳小小小
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HDFS概述及HDFS优缺点
a1786742005的博客
01-31 5372
一、HDFS概述 1.1 HDFS产生背景   随着数据量越来越大，在一个操作系统上存储不了所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统的一种 1.2 HDFS定义   HDFS(Hadoop Distributed File System)，它是一个文件系统，用于储存文件...
HDFS概述介绍及其优缺点
mr123666的博客
11-29 5473
1、HDFS概述: HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。集群不一定是分布式的，但是分布式一定是集群。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 2、HD...
hdfs优缺点
06-04
hdfs优缺点
hdfs优点
最新发布
weixin_42602726的博客
01-06 1125
HDFS(Hadoop分布式文件系统)具有如下优点： 高容错性：HDFS能够支持大量的容错，在硬件故障的情况下仍能继续运行。 高可靠性：HDFS会将数据存储在多台机器上，并且提供了冗余存储机制，使得数据损坏的风险大大降低。 高扩展性：HDFS能够支持大量的硬件节点，可以通过添加新的节点来扩展存储空间和计算能力。 高性能：HDFS能够支持大规模数据的存储和访问，并提供了快速的数据访问能力。 ...
HDFS的优点和缺点
qq_40076192的博客
08-09 1995
优点 1.高容错性：如果有datanode上副本丢失，可以自动恢复。 2.构建成本低，可以放在廉价的机器上。 3.高效性：hadoop可以在节点之间转移数据，可以把整个集群资源调动起来，保证各个节点的动态平衡，因此处理速度非常快。 4.可靠性：hadoop是按位存储和处理数据的，位是数据存储的最基本单元 5.良好的可移植性：hadoop底层是java，java具有这种特点。 缺点 1.不适合做低延迟数据访问 2.不适合大量的小文件存储 3.不适合并发写入 ...
HDFS- 优势与弊端
Piepis的博客
08-06 1004
HDFS 优点 硬件故障预防 一个 HDFS 实例有可能包含数百台或数千台服务器，每一个台机器都存储文件系统数据的一部分，这种情况下硬件故障是常态。而 HDFS 可检测故障并从中快速自动恢复。 流数据访问 HDFS 设计用于批处理而不是用户的交互式使用，其重点是数据访问的高吞吐量而并不追求数据访问的低延迟。 处理大数据集 HDFS 的核心目标就是为处理具有大数据量的应用，在其上运行的应用的文件大小一般都为 TB 级别。HDFS 可提供高聚合数据带宽并且要扩展到集群中的数百个节点上，并对于单个应用可支持上千万
大数据平台构建：HDFS的重要概念.pptx
06-21
【HDFS是什么】 HDFS，全称为Hadoop Distributed File System，是Apache Hadoop...理解HDFS的优势和劣势对于构建和优化大数据平台至关重要。在实际应用中，需要根据业务需求权衡这些特性，以实现最佳的数据处理效果。
hdfs，hbase命令原理介绍
11-23
#### HDFS 的劣势 1. **小文件存储**：对于非常小的文件（小于 HDFS 默认的 block 大小，默认为 128MB），HDFS 不是最优选择，因为每个文件的元数据都需要存储在 NameNode 的内存中，这会占用大量资源。 2. **并发...
HDFS 学习
weixin_45512368的博客
07-22 1226
Hdfs学习
HDFS介绍
学习记录
04-11 240
HDFS ​ Hadoop Distributed File System ​ Hadoop的分布式文件系统 什么是文件系统 ​ 在磁盘(硬件，只能做存储)的基础上，对于文件或目录进行内容和位置管理的软件系统，叫做文件系统。 什么是分布式存储 ​ 对于一个容量特别大的文件进行存储的时候，一个单独的节点无法完成这个存储任务，必须对这个大文件按照某种规则进行切割，切割成很多个小文件，把每个小文件分别放在集群中的不同节点里，分散了海量数据的存储压力。 文件系统的表现形式 本地文件系统 windows: fil
初识Hdfs
ssn520的博客
12-03 410
hadoop分为三个组件 HDFS负责海量数据的分布式存储 （存储数据） MapReduce是一个计算模型，负责海量数据的分布式计算 （计算，生产不用，设计理念指导其他框架，spark、flink ） YARN主要负责集群资源的管理和调度 HDFS概念 分布式文件系统的特点： 1、分布式文件系统可以有效解决数据的存储和管理难题 2、将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统 3、众多的节点组成一个文件系统网络 4、每个节点可以分布在不同的地点，通过网络进行节点间的通信和...
HDFS优缺点
weixin_30577801的博客
07-28 268
HDFS架构简述 一、HDFS简介 HDFS（Hadoop distributed File System）：Hadoop分布式文件系统。是基于流数据模式访问和处理超大文件的需要而开发的，可以运行于廉价的服务器上。它所具有的高容错，高可靠性，高可扩展性，高获得性，高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集的应用带来了很多便利。简单来说就是把一个超大号文件按一定大小分割...
hdfs的优缺点
qq_43530218的博客
04-15 223
hdfs的优点： 1.高容错性 (1)数据自动保存多个副本。 (2)副本丢失后，自动恢复。 2适合批量处理 (1) 移动计算机而非数据 。 (2)数据位置暴露给计算机框架（block块） 3…适合大数据处理 (1) GB、TB、甚至PB级数据。 (2)百万规模以上的文件数量。注意：节点数可能10K+。 4.可构建在廉价机器上。 (1) 通过多个副本提高可靠性。 (2)提供了容错和恢复机制。 hdf...
HDFS 优缺点
Simple 专栏
01-27 1127
​​​​​​HDFS主要是用于做什么的？  HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Se...
HDFS的优缺点分析
mischen520的博客
05-03 137
HDFS的优点： HDFS的缺点:
Hadoop中HDFS优缺点(3)
weixin_33861800的博客
02-22 300
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

琳小小小

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值