初学Hadoop——HDFS Java API 的使用、在linux中安装eclipse

Hadoop不同的文件系统之间通过调用Java API进行交互，实验一中介绍的Shell命令，本质上也就是Java API的应用。

Hadoop官方的Hadoop API文档，可以访问如下网站，查看各个API的功能：网站链接

一、 Eclipse的安装

利用Java API进行交互，需要利用软件Eclipse编写Java程序。这里我使用的在Ubuntu中安装eclipse。

（1）在Ubuntu的边栏打开软件中心

（2）在软件中心搜索栏输入“ec”，软件中心会自动搜索相关的软件

点击图中的eclipse软件，进行安装即可。

（3）点击Ubuntu下侧边栏的搜索工具，输入“eclipse”，搜索已经安装好的相关软件,打开Eclipse。

二、在eclipse中创建项目

（1）第一次打开Eclipse,需要填写workspace(工作空间)，用来保存程序所在的位置，这里可以按照默认，不需要改动。

点击“OK”按钮，进入Eclipse软件。

成功启动后的界面。

（2）创建Java工程

选择“File->New->Java Project”菜单，开始创建一个Java工程，会弹出如下图所示的界面。

在“Project name”后面输入工程名称“HDFSExample”，选中“Use default location”，让这个Java工程的所有文件都保存到“/home/hadoop/workspace/HDFSExample”目录下。在“JRE”这个选项卡中，可以选择当前的Linux系统中已经安装好的JDK，比如java-8-openjdk-amd64。然后，点击界面底部的“Next>”按钮，进入下一步的设置。

三、为项目添加所需要的JAR包

需要在这个界面中加载该Java工程所需要用到的JAR包，这些JAR包中包含了可以访问HDFS的Java API。这些JAR包都位于Linux系统的Hadoop安装目录下。

就是在“/usr/local/hadoop/share/hadoop”目录下。点击界面中的“Libraries”选项卡，然后，点击界面右侧的“Add External
JARs…”按钮。

上面的一排目录按钮（即“usr”、“local”、“hadoop”、“share”、“hadoop”、“mapreduce”和“lib”），当点击某个目录按钮时，就会在下面列出该目录的内容。

为了编写一个能够与HDFS交互的Java应用程序，一般需要向Java工程中添加以下JAR包：

（1）”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；

（2）/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；

（3）“/usr/local/hadoop/share/hadoop/hdfs”目录下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar；

（4）“/usr/local/hadoop/share/hadoop/hdfs/lib”目录下的所有JAR包。

比如，如果要把“/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar添加到当前的Java工程中，可以在界面中点击目录按钮，进入到common目录，然后，界面会显示出common目录下的所有内容，如下图：

在界面中用鼠标点击选中hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar，然后点击界面右下角的“确定”按钮，就可以把这两个JAR包增加到当前Java工程中，出现的界面如下所示：

可以看出，hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar已经被添加到当前Java工程中。然后，按照类似的操作方法，可以再次点击“Add External JARs…”按钮，把剩余的其他JAR包都添加进来。需要注意的是，当需要选中某个目录下的所有JAR包时，可以使用“Ctrl+A”组合键进行全选操作。全部添加完毕以后，就可以点击界面右下角的“Finish”按钮，完成Java工程HDFSExample的创建。

四、编写Java应用程序代码

编写一个Java应用程序，用来检测HDFS中是否存在一个文件：
在Eclipse工作界面左侧的“Package Explorer”面板中，找到刚才创建好的工程名称“HDFSExample”，然后在该工程名称上点击鼠标右键，在弹出的菜单中选择“New->Class”菜单。

在该界面中，只需要在“Name”后面输入新建的Java类文件的名称，这里采用名称“HDFSFileIfExist”，其他都可以采用默认设置，然后，点击界面右下角“Finish”按钮，出现下图所示界面：

可以看出，Eclipse自动创建了一个名为“HDFSFileIfExist.java”的源代码文件，在该文件中输入以下代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSFileIfExist {
   
    public static void main(String[] args){
   
        try{
   
            String fileName = "test";
            Configuration conf = new Configuration();
            conf<