hadoop的限制/不足

Hadoop不足:

1.不适合低延迟数据访问

HDFS面向大规模数据批处理设计,采用流式数据处理,具有很高的数据吞吐率,但这也意味着有较高的延时。

2.不能够高效的存储小文件数据

Hadoop是基于HDFS文件存储系统,HDFS是采用块为基本单位存储数据,每个块大小为64KB(不确定现在多少),如果一个文件达不到64KB,也会存成一个独立的块。如果存在大量的小文件(假设都小于64KB)那么会造成每个块都无法存储满,造成大量的空间浪费。

HDFS是采用主从节点架构。集群中只设置一个主节点(可能有备份主节点),可由很多个从节点。主节点负责集群管理,资源配置,作业调度等。从节点负责数据的存储与读取。HDFS采用主节点管理元数据,元数据被保存在内存中,从而使得客户端可以快速查询到数据块位置,数据块号。然后再在从节点读写数据。如果存在大量小文件,则会使得在主节点查询效率降低。导致主节点效率下降。

3.不支持用户写入并修改文件

Hadoop现在还不支持多人写入,任意修改的功能。只允许一个文件有一个写入者,不允许多个用户堆同一文件执行写操作,而且只允许对文件进行追加,也就是说每次写入都会添加在文件末尾(区分关系型数据库的特点)。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

帅逼码农

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值