目录
一、上传原理
首先,我们还是通过一张图来回顾一下文件上传的大概的原理。
由上图所示,文件上传的原理,其实说出来也简单。
比如有个TB级的大文件,太大了,HDFS客户端会给拆成很多block,一个block就是128MB。
这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西。
比如有人上传一个1TB的大文件到网盘,或者是上传个1TB的大日志文件。
然后,HDFS客户端把一个一个的block上传到第一个DataNode
第一个DataNode会把这个block复制一份,做一个副本发送给第二个DataNode。
第二个DataNode发送一个block副本到第三个DataNode。
所以你会发现,一个block有3个副本,分布在三台机器上。任何一台机器宕机,数据是不会丢失的。
最后,一个TB级大文件就被拆散成了N多个MB级的小文件存放在很多台机器上了,这不就是分布式存储么?