weixin_70781656的博客

原创 Hadoop HDFS的简单认识

Hadoop Distributed File System (HDFS™)：Hadoop 分布式文件系统，是 Hadoop 的基石。Hadoop Common：Hadoop 体系最底层的一个模块，是其他模块的基础设施。所以 将来Hadoop的mr都用来进行离线数据的处理。如果数据文件的切割点128M整好是一个单词的中间部分，切分数据如何保证数据的完整性？数据块的个数 =Ceil（ 文件大小 / 每个块的大小）数组都有对应的索引(下标),可以快速的定位数据。我们将切分后的数据拼接到一起，数据可以继续使用。