HadoopHDFS

使用场景

hdfs适合超大文件的存储，指的是几百M，几百G甚至几百T的文件。

由于namenode将文件系统的元数据存储在内存中，因此文件系统所能存储的文件总数受限于namenode的内存容量。每个文件、目录和数据块的存储信息大约占用150字节，如果有一百万个文件、每个文件一个数据块，大约需要300M的内存。

一般概念

HDFS有block的概念，默认是128M。HDFS的块比磁盘块（一般512字节）大，可以最小化寻址开销。但是参数不应该设置过大，MapReduce任务通常一次只处理一个块中的数据，如果任务数太少，作业运行会比较慢。

namenode：
管理文件系统命名空间，维护文件系统树以及整棵树内所有的文件和目录。如果namenode丢失，文件系统上的所有文件都会丢失，因为不能根据datanode上的块重建namenode文件。

datanode：
工作节点，根据需要存储并检索数据块。

块缓存：
通常datanode从磁盘读取数据，但是对于访问频繁的文件，其对应的块可能被显示地缓存在datanode的内存中，以堆外块缓存的形式存在。默认配置下，一个块仅缓存在一个datanode的内粗中，可以针对每个文件配置datanode的数量。 用户可以通过在缓存池（cache pool）中增加一个cache directive来告诉namenode需要缓存哪些文件及多久。

联邦HDFS：
namenode内存会成为限制集群的瓶颈。联邦配置可以让每个namenode管理文件系统一部分的命名空间，比如一个namenode管理/user目录下的文件，另一个namenode管理/share目录下的文件。
每个namenode维护一个命名空间卷，由命名空间的元数据和一个数据块池组成，数据块池包含改命名空间下文件的所有数据块。命名卷之间相互独立，不互相通信，一个namenode失效，不会影响其他正常运行的namenode维护的命名空间的可用性。数据块池不进行切分，因此一个datanode，需要注册到每个namenode，并且存储着来自多个数据块池的数据。

journalnode：
实现共享编辑日志的功能，实现hdfs ha。

zkfc：
通过一个简单的心跳机制实现，监视namenode是否失效，并在namenode失效时进行故障切换。

hdfs权限：
rwx r：只读权限 w：写权限 x：可执行权限，与普通概念不同，hdfs上无法执行文件，这个权限用于访问一个目录的子项，对于文件而言，这个权限没有意义。

其他访问方式：

第一种，namenode和datanode内嵌的web服务器作为WebHDFS端节点。
第二种，通过Httpfs作为代理访问，默认监听14000端口。