HDFS(Hadoop Distributed File System)是Hadoop分布式计算中的数据存储系统,是基于流数据模式访问和处理超大文件的需求而开发的。
现在也不知道什么是基于流数据模式访问,能解释的希望评论告我以下,谢谢啦
收集到的资料有如下:
(1)HDFS以流式数据访问模式来存储超大文件,运行于商用硬件集群上。流式数据访问:HDFS的构建思路:一次写入,多次读取的高效的访问模式。数据集通常是由数据源生成或者从数据源复制而来,接着长时间在此数据集上进行各类分析,每次分析都涉及该数据集的大部分或者是全部,因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更为重要。
(2)收集到部分数据就开始处理,不是收集到全部数据再处理。
(3)我的理解是,进行分析处理时分批读取全部数据集中的一部分,因为是数据是按块存储。