Hadoop-HDFS原理及操作（小实验）

HDFS原理:

HDFS（Hadoop Distributed File System）是一个分布式文件系统，是谷歌的GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。

HDFS文件系统的角色分为三种（Master和Slave的结构，主从节点结构），分为NameNode、Secondary NameNode和DataNode三种角色：

NameNode：在Hadoop1.X中只有一个主节点，管理HDFS的名称空间和数据块映射信息、配置副本策略和处理客户端请求；在hadoop后续版本中，可以支持多个主节点，若一个出错了整个集群还可以继续运行。

Secondary NameNode：我们可以将它理解为namenode的秘书，辅助NameNode，分担NameNode工作，定期合并fsimage和fsedits并推送给NameNode，紧急情况下可辅助恢复NameNode；

DataNode：Slave节点，实际存储数据、执行数据块的读写并汇报存储信息给NameNode；
HDFS分布式文件存储原理：

HDFS读操作：

1.客户端发出读取文件的指令（我们常在namenode节点上执行客户端操作），这个指令会先发HDFS的分布式文件系统，分布式文件系统会从主节点上获取该文件各个分块的位置，然后根据算法去得到该文件每一份所处的离文件管理系统最近（网络上最近，最快）的那个datanode的位置。
2.上一步会返回一个文件流对象，这个对象用来管理 datanode 和 namenode 数据流。
3.然后这个对象会调用read（）方法去读取相应datanode中的文件，并且将数据从 DataNode 传输到客户端。
4.到达块的末端时，文件流对象会关闭与该 DataNode 的连接，然后寻找下一个块的最佳 DataNode，从客户端的角度来看只是读一个持续不断的流。
5.一旦客户端完成读取，就对 文件流就会关闭文件读取。

HDFS 写操作：

详细步骤解析:
1、client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传;
2、client请求第一个block该传输到哪些DataNode服务器上;
3、NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如: A, B, C;
注: Hadoop 在设计时考虑到数据的安全与高效，数据文件默认在HDFS.上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。
4、client 请求3台DataNode中的一台A上传数据(本质上是一个RPC调用，建立pipeline（管道）)，A收到请求会继续调用B,然后B调用C，将整个pipeline（管道）建立完成，后逐级返回client;
5、client开始往A上传第一个block(先从磁盘读取数据放到一个本地内存缓存)，以packet为单位(默认64K), A收到一个packet就会传给B,B传给C; A每传一个packet会放入一个应答队列等待应答。
6、当读完列表的block 后，若文件读取还没有结束，客户端会继续向NameNode获取下一批的block列表;
7、读取完一个block都会进行chefksum验证，如果读取DataNode时出现错误，客户端会通知NameNode, 然后再从下一个拥有该block副本的DataNode继续读。
8、read 方法是并行的读取block信息，不是一块一块的读取; NameNode只是返回Client请求包含块的DataNode地址,并不是返回请求块的数据;
9、最终读取来所有的block会合并成一个完整的最终文件。

HDFS 中的常用命令：

hadoop hdfs指令与我们linux指令基本相同，我们需要注意一下put、get、copyFromLocal这几个指令。
关于指令的查看可以到hadoop官方中文网站（写得很清楚）：
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

实验操作：

对hdfs文件操作都大同小异，无非是上传、下载、对文件进行分析处理（采用java，更复杂的操作其实也就是相关java代码的编写）。这里我们只进行一个实验：编译java文件，读取 HDFS 文件内容。
关于HDFS实验操作的网站（大家可以在这