Hadoop的认知block块、hdfs架构、SNN的流程

Hadoop的认知（一）

1.hadoop中block块

block默认大小为128m【hadoop2.0版本以上】，版本以下是 64M。

dfs.blocksize 134217728   //128M  规格
dfs.replication           3  //副本数为三

Default block replication. 块副本数
The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time.

面试题:
1、一个文件160M，块大小128M ，副本数2份，请问:实际存储多少块，实际多少存储空间？
**答：**实际存储多少块： 160/128=1…32M 1+1=2 * 2=4，实际存储空间: 160*2=320m
2、hdfs适合小文件存储吗？为什么？
答：（1）HDFS不适合大量小文件的存储，因namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存
（2）HDFS适用于高吞吐量，而不适合低时间延迟的访问。如果同时存入大量的小文件会花费很长的时间