王孬孬young对于HDFS架构和原理的理解:)

对HDFS架构和原理的理解阅前须知: 在学习HDFS相关操作之前,需要对HDFS架构和原理进行深入的理解,在查阅资料的基础上,写一下我对于HDFS的深入理解。HDFS的作用:HDFS全称为(Hadoop Distributed File System)即 Hadoop分布式文件系统 HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据...
摘要由CSDN通过智能技术生成

对HDFS架构和原理的理解

阅前须知: 在学习HDFS相关操作之前,需要对HDFS架构和原理进行深入的理解,在查阅资料的基础上,写一下我对于HDFS的深入理解。

HDFS的作用:

HDFS全称为(Hadoop Distributed File System)即 Hadoop分布式文件系统 HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。

HDFS的主要优点:

1 可以存储超大文件**
这里的“超大文件”是指几百MB、GB甚至TB级别的文件。一般来说 hadoop的文件系统会存储TB级别或者PB级别的数据。
2 访问模式高效: 一次写入、多次读取(即流式数据访问)**
HDFS的数据处理规模比较大,应用一次需要访问大量的数据,这些应用一般都是批量处理,而不是用户交互式处理。应用程序能以流的形式访问数据集。主要的是数据的吞吐量,而不是访问速度。
3 检测和快速应对硬件故障**
在HDFS中硬件故障是常态,而不是异常。整个HDFS系统将由数百或数千个存储着文件数据片段的服务器组成。实际上它里面有非常巨大的组成部分,每一个组成部分都很可能出现故障,这就意味着HDFS里的总是有一些部件是失效的,因此,故障的检测和自动快速恢复是HDFS一个极大的优点
4 简化的一致性模型**
大部分HDFS操作文件时,需要一次写入,多次读取。在HDFS中,一个文件一旦经过创建、写入、关闭后

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值