【图文解析 】hdfs的优缺点,昼夜无眠可算想出来了!

优点:

可构建在廉价机器上    

       通过多副本提高可靠性,提供了容错和恢复机制

高容错性    

       数据自动保存多个副本,副本丢失后,自动恢复

适合批处理    

       移动计算而非数据,数据位置暴露给计算框架

适合大数据处理    

        GB、TB、甚至 PB 级数据,百万规模以上的文件数量,10K+节点规模

流式文件访问    

         一次性写入,多次读取,保证数据一致性 

 

 

 

 


 

 

缺点(请你记住我的缺点,就像结婚,你只有接受我的缺点才能永远的在一起,而不是谈恋爱,只要知道我的优点就行了,面试的时候可能会问有什么缺点):

不适用一下操作:

低延迟数据访问

       比如毫秒级 低延迟与高吞吐率

小文件存取

       占用 NameNode 大量内存  150b* 1000W = 15E,1.5G

       寻道时间超过读取时间

并发写入、文件随机修改

       一个文件只能有一个写者

       仅支持 append 

 

 

 

 

 

 

hdfs不适合存储的小文件

元信息存储在 NameNode 内存中 

       一个节点的内存是有限的 

存取大量小文件消耗大量的寻道时间

      类比拷贝大量小文件与拷贝同等大小的一个大文件 

NameNode 存储 block 数目是有限的 

      一个 block 元信息消耗大约 150 byte 内存

      存储 1 亿个 block,大约需要 20GB 内存

      如果一个文件大小为 10K,则 1 亿个文件大小仅为 1TB(但要消耗掉 NameNode 20GB 内存) 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值