HDFS特性

1.适合存放大文件,不适合小文件

       每个文件被写入HDFS的时候,都会生成元数据,元数据是保存在NameNode里面的。HDFS在工作状态下,元数据是被加载在内存当中的。

       由于元数据信息属于描述性信息,比如文件名,文件大小,block块的存放位置等等,所以每条元数据信息的大小是150个字节。也就是说,写一个1T的大文件和写一个1M的小文件,所产生的元数据的大小都是150个字节

       综上所述,在NameNode内存有限的情况下,存大文件显然更划算,因此HDFS适合存放大文件。 

      这其实还引申了另一个问题,就是一个NameNode所能管理的文件大小是有限的,因为内存是有上限的。所以才会有NameNode的联邦机制,即一个NameNode管理不了时,就再加一个NameNode。但是这样运维压力会很大,所以现在会有一些替代方案,比如cubefs,juicefs。

2.HDFS不适合低延时场景

      HDFS在设计上是做批数据处理的,更多的是保障吞吐量,而且HDFS写入过程很复杂,要经过大量的网络传输,因此会牺牲数据请求时的时间。

3.基于流的数据访问模式

       HDFS是基于流的数据访问模式,这种模式的特征是一次写入,多次读取,不支持随机修改,只能在文件尾部追加写。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值