HDFS文件的系统中,是将文件分为多个block进行存储的,并将存储的block赋值多个副本,存储在不同的主机上,那么HDFS是怎么来维护这些数据的呢,
文件是存储在哪里?
首先,hafs文件系统中,文件是存储在哪里。很多人会说,当然存储在磁盘上,如果真的只是存储存在磁盘上,那么从hdfs中读取文件,将变得非常的缓慢,而hadoop是处理大量的数据,这就会使存储与读取的速度更加的缓慢,hadoop中有很多超时机制,一旦超过一定时间,将会抛出异常,重新连接,这样使整体的性能变得非常差,那么将数据存在内存中,这样一来,速度是变得非常快,但是不能保证数据的安全性,一旦出现故障,例如断电,那么数据都将会消失。
Hadoop的hdfs文件系统是将上面的两种方式同时运用起来。具体的原理如图:
其中:NameNodel是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。