大数据-七

hadoop 分布式文件系统

因为是大数据，所以普通的文件系统和单一的计算机不能承载如此多的数据，就算能承载，成本也是非常高昂的，所以就采用分布式文件系统，这比普通的磁盘文件系统更为复杂，容错能力，处理能力等，都变得更复杂；

hadoop中的分布式文件系统为HDFS(Hadoop Distributed Filesystem)也可以称作DFS；HDFS以流式数据访问模式来储存超大文件，运行于商用硬件集群上;HDFS的思路是一次写入，多次读取；，然后进行各种分析，而且分析的数据范围是在整个超大文件上，而不是其中的一小部分，所以读取整个数据集的时间延迟要比读取一条记录的时间延迟重要；

所以HDFS是牺牲了时间延迟，来提高数据吞吐量，HBase有点不同；HDFS适合大型文件，不适合大量的小文件，不适合多用户吸入，任意修改文件；因为，HDFS是一次写，多次读，应用于超大文件的，架构在商用硬件上的高吞吐量优化应用的文件系统；

HDFS的块默认为64M，远远大于普通磁盘块的大小；其目的是为了最小化寻址开销，增加处理速度，当块足够大，传输块的时间成本将取决于磁盘传输速率；，当然块的大小也不能设置的太大，因为MapReduce中的Map任务通常一次只处理一个块中的数据，块太大会导致任务过少，作业速度变慢；

而且将文件分块有很多好处，因为一个文件的块可能存储在不同的磁盘上，所以这个文件的整体大小可以超过网络中任何一个磁盘的大小；

块的概念简化了分布式文件系统的管理，是的元数据可以从块中分离；提高了容错能力，可用性等；

HDFS中的fsck指令读取块信息；

%hadoop fsck / -files -blocks

＃列出文件系统中各文件由哪些块构成；