hadoop的优缺点:
一、优点
(一)高可靠性。 元数据记录节点与数据块信息
(二)高扩展性。 存储与计算节点可以动态增添;部分框架可以按需替换
(三)高效性。 移动计算而非数据,适用于批处理
(四)高容错性。 数据自动备份,副本丢失后自动恢复
(五)可以构建在廉价机器上;适合大规模数据存储与计算
支持超大文件 :非常适合上T级别的大文件或者一堆大数据文件的存储,如果文件只有几个G甚至更小就没啥意思了。
检测和快速应对硬件故障 :心跳服务以及HDFS认为所有计算机都可能会出问题,为了防止某个主机失效读取不到该主机的块文件,
它将同一个文件块副本分配到其它某几个主机上,如果其中一台主机失效,可以迅速找另一块副本取文件
流式数据访问 :一次写入多次读写,这种模式跟传统文件不同,它不支持动态改变文件内容,
而是要求让文件一次写入就不做变化,要变化也只能在文件末添加内容。
二、缺点
(一)不适合低延迟数据访问(实时性低)。
a) 比如毫秒级 MR计算框架大多中间数据走磁盘
b) 低延迟与高吞吐量 注重吞吐量,牺牲了实时性
(二)无法高效存储大量小文件。
a) 占用NameNode大量内存
b) 寻道时间超过读取时间
(三)不适合多用户写入文件,修改文件
Hadoop2.0虽然支持文件的追加功能,但是还是不建议对HDFS上的 文件进行修改,因为效率低。
对于上传到HDFS上的文件,不支持修改文件,HDFS适合一次写入,多次读取的场景。
HDFS不支持多用户同时执行写操作,即同一时间,只能有一个用户执行写操作
hadoop的优缺点
最新推荐文章于 2024-04-26 22:46:43 发布