Hadoop文件存储系统-HDFS详解以及java编程实现

前言

        这是关于Hadoop的系列文章。

Hadoop基本概念指南

Eclipse搭建Hadoop开发环境二三事

IntelliJ IDEA搭建Hadoop开发环境

Hadoop文件存储系统-HDFS详解以及java编程实现

背景

        我们在本系列的第一篇文章的时候就谈到过，面对海量数据，我们最为缺乏的就是对大数据量的存储能力以及处理能力。而这两种能力在Hadoop的体现分别就是HDFS以及map-reduce。今天，我们就来看看Hadoop为我们带来的这个分布式文件系统。

---

猜想

        实际上，我们在未能接触HDFS之前可以猜测一些它会是什么样子的？现有的linux文件系统也很好用，所以我们猜想，它也将会保留一部分的当前文件系统的特性，比如说采取目录的方式、linux的一些命令的保留、甚至于说一些常用的指令的完全兼容，当然，我觉得一定也会有新的东西的加入。比如说对于分布式的支持，我们在第一篇文章其实有谈到过HDFS在存储的时候的几个角色。NameNode负责文佳信息的索引，而DataNode则负责处理数据的实际存储。当然，这里的模型只是简化的处理模型，但其实我们如果只是使用HDFS的话，我们不care这样的细节。

---

HDFS为我们带来了什么？

        HDFS为我们的实际业务应用带来的最强大的能力应该就是对于大数据量的存储能力，而且这种能力的获得并没有让我们的业务的复杂性提高，也就是说分布式的存储对于我们而言是透明的，这是我们所希望看到的。正因为如此，它才显得非常的简单易用。因为我们可以把我们的注意力一致的集中在我们的存储上，而不是该怎么去协调节点间的数据，该怎么去防止数据丢失。可以说，HDFS为我们带来了简单易用的分布式存储。而且他和普通的文件系统在别的方面并无二致。

---

编程实现

        我们知道，任何程序同文件系统之间的操作都离不开IO，而这些交互的主要无非就集中在如下的几点，那么我们就可以来看到我们需要做的事情：

---

---

        好了，那下面就让我们愉快的开始写代码吧？我们首先需要搞清楚的是我们需要依赖的jar，如下所示：

         <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.1</version>
        </dependency>

        好了，看完了依赖，我们接下来就是要开始我们的代码编写了。我们查找到FileSystem这个类是最为最重要的一个类。我们点进去看看注释：

---

/****************************************************************
 * An abstract base class for a fairly gene