在ubuntu中安装eclipse

链接🔗：https://dblab.xmu.edu.cn/blog/2460/

Eclipse是常用的程序开发工具，本教程很多程序代码都是使用Eclipse开发调试，因此，需要在Linux系统中安装Eclipse。
可以到Eclipse官网（Eclipse Downloads | The Eclipse Foundation）下载安装包。
或者直接点击这里从百度云盘下载软件（提取码：lnwl），位于“软件”目录下，文件名是eclipse-4.7.0-linux.gtk.x86_64.tar.gz。假设安装文件下载后保存在了Linux系统的目录“~/Downloads”下，下面执行如下命令对文件进行解压缩：

1. cd ~/Downloads
2. sudo tar -zxvf ./eclipse-4.7.0-linux.gtk.x86_64.tar.gz -C /usr/local

Shell 命令

然后，执行如下命令启动Eclipse：

1. cd /usr/local/eclipse
2. ./eclipse

Shell 命令

这时，就可以看到Eclipse的启动界面了。

（二）使用Eclipse开发调试HDFS Java程序

Hadoop采用Java语言开发的，提供了Java API与HDFS进行交互。上面介绍的Shell命令，在执行时实际上会被系统转换成Java API调用。Hadoop官方网站提供了完整的Hadoop API文档（http://hadoop.apache.org/docs/stable/api/），想要深入学习Hadoop编程，可以访问Hadoop官网查看各个API的功能和用法。本教程只介绍基础的HDFS编程。
为了提高程序编写和调试效率，本教程采用Eclipse工具编写Java程序。
现在要执行的任务是：假设在目录“hdfs://localhost:9000/user/hadoop”下面有几个文件，分别是file1.txt、file2.txt、file3.txt、file4.abc和file5.abc，这里需要从该目录中过滤出所有后缀名不为“.abc”的文件，对过滤之后的文件进行读取，并将这些文件的内容合并到文件“hdfs://localhost:9000/user/hadoop/merge.txt”中。

1. 在Eclipse中创建项目

启动Eclipse。当Eclipse启动以后，会弹出如下图所示界面，提示设置工作空间（workspace）。

可以直接采用默认的设置“/home/hadoop/workspace”，点击“Launch”按钮。可以看出，由于当前是采用hadoop用户登录了Linux系统，因此，默认的工作空间目录位于hadoop用户目录“/home/hadoop”下。
Eclipse启动以后，会呈现如下图所示的界面。

这里可能会出现一个情况：new菜单后没有新建java project或class选项问题

链接🔗：

解决eclipse 点击new菜单后没有新建java project或class选项问题_eclipse new没有class-CSDN博客

选择“File-->New-->Java Project”菜单，开始创建一个Java工程，会弹出如下图所示界面。

在“Project name”后面输入工程名称“HDFSExample”，选中“Use default location”，让这个Java工程的所有文件都保存到“/home/hadoop/workspace/HDFSExample”目录下。在“JRE”这个选项卡中，可以选择当前的Linux系统中已经安装好的JDK，比如jdk1.8.0_162。然后，点击界面底部的“Next>”按钮，进入下一步的设置。

2. 为项目添加需要用到的JAR包

进入下一步的设置以后，会弹出如下图所示界面。

需要在这个界面中加载该Java工程所需要用到的JAR包，这些JAR包中包含了可以访问HDFS的Java API。这些JAR包都位于Linux系统的Hadoop安装目录下，对于本教程而言，就是在“/usr/local/hadoop/share/hadoop”目录下。点击界面中的“Libraries”选项卡，然后，点击界面右侧的“Add External JARs…”按钮，会弹出如下图所示界面。

在该界面中，上面的一排目录按钮（即“usr”、“local”、“hadoop”、“share”、“hadoop”和“common”），当点击某个目录按钮时，就会在下面列出该目录的内容。
为了编写一个能够与HDFS交互的Java应用程序，一般需要向Java工程中添加以下JAR包：
（1）“/usr/local/hadoop/share/hadoop/common”目录下的所有JAR包，包括hadoop-common-3.1.3.jar、hadoop-common-3.1.3-tests.jar、haoop-nfs-3.1.3.jar和haoop-kms-3.1.3.jar，注意，不包括目录jdiff、lib、sources和webapps；
（2）“/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；
（3）“/usr/local/hadoop/share/hadoop/hdfs”目录下的所有JAR包，注意，不包括目录jdiff、lib、sources和webapps；
（4）“/usr/local/hadoop/share/hadoop/hdfs/lib”目录下的所有JAR包。
比如，如果要把“/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-3.1.3.jar、hadoop-common-3.1.3-tests.jar、haoop-nfs-3.1.3.jar和haoop-kms-3.1.3.jar添加到当前的Java工程中，可以在界面中点击目录按钮，进入到common目录，然后，界面会显示出common目录下的所有内容。

请在界面中用鼠标点击选中hadoop-common-3.1.3.jar、hadoop-common-3.1.3-tests.jar、haoop-nfs-3.1.3.jar和haoop-kms-3.1.3.jar（不要选中目录jdiff、lib、sources和webapps），然后点击界面右下角的“确定”按钮，就可以把这两个JAR包增加到当前Java工程中。

从这个界面中可以看出，hadoop-common-3.1.3.jar、hadoop-common-3.1.3-tests.jar、haoop-nfs-3.1.3.jar和haoop-kms-3.1.3.jar已经被添加到当前Java工程中。然后，按照类似的操作方法，可以再次点击“Add External JARs…”按钮，把剩余的其他JAR包都添加进来。需要注意的是，当需要选中某个目录下的所有JAR包时，可以使用“Ctrl+A”组合键进行全选操作。全部添加完毕以后，就可以点击界面右下角的“Finish”按钮，完成Java工程HDFSExample的创建。

3. 编写Java应用程序

下面编写一个Java应用程序。
请在Eclipse工作界面左侧的“Package Explorer”面板中（如下图所示），找到刚才创建好的工程名称“HDFSExample”，然后在该工程名称上点击鼠标右键，在弹出的菜单中选择“New-->Class”菜单。

选择“New-->Class”菜单以后会出现如下图所示界面。

在该界面中，只需要在“Name”后面输入新建的Java类文件的名称，这里采用名称“MergeFile”，其他都可以采用默认设置，然后，点击界面右下角“Finish”按钮，出现如下图所示界面。

可以看出，Eclipse自动创建了一个名为“MergeFile.java”的源代码文件，请在该文件中输入以下代码：

1. import java.io.IOException;
2. import java.io.PrintStream;
3. import java.net.URI;
5. import org.apache.hadoop.conf.Configuration;
6. import org.apache.hadoop.fs.*;
8. /**
9. * 过滤掉文件名满足特定条件的文件
10. */
11. class MyPathFilter implements PathFilter {
12. String reg = null;
13. MyPathFilter(String reg) {
14. this.reg = reg;
15. }
16. public boolean accept(Path path) {
17. if (!(path.toString().matches(reg)))
18. return true;
19. return false;
20. }
21. }
22. /***
23. * 利用FSDataOutputStream和FSDataInputStream合并HDFS中的文件
24. */
25. public class MergeFile {
26. Path inputPath = null; //待合并的文件所在的目录的路径
27. Path outputPath = null; //输出文件的路径
28. public MergeFile(String input, String output) {
29. this.inputPath = new Path(input);
30. this.outputPath = new Path(output);
31. }
32. public void doMerge() throws IOException {
33. Configuration conf = new Configuration();
34. conf.set("fs.defaultFS","hdfs://localhost:9000");
35. conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
36. FileSystem fsSource = FileSystem.get(URI.create(inputPath.toString()), conf);
37. FileSystem fsDst = FileSystem.get(URI.create(outputPath.toString()), conf);
38. //下面过滤掉输入目录中后缀为.abc的文件
39. FileStatus[] sourceStatus = fsSource.listStatus(inputPath,
40. new MyPathFilter(".*\\.abc"));
41. FSDataOutputStream fsdos = fsDst.create(outputPath);
42. PrintStream ps = new PrintStream(System.out);
43. //下面分别读取过滤之后的每个文件的内容，并输出到同一个文件中
44. for (FileStatus sta : sourceStatus) {
45. //下面打印后缀不为.abc的文件的路径、文件大小
46. System.out.print("路径：" + sta.getPath() + " 文件大小：" + sta.getLen()
47. + " 权限：" + sta.getPermission() + " 内容：");
48. FSDataInputStream fsdis = fsSource.open(sta.getPath());
49. byte[] data = new byte[1024];
50. int read = -1;
52. while ((read = fsdis.read(data)) > 0) {
53. ps.write(data, 0, read);
54. fsdos.write(data, 0, read);
55. }
56. fsdis.close();
57. }
58. ps.close();
59. fsdos.close();
60. }
61. public static void main(String[] args) throws IOException {
62. MergeFile merge = new MergeFile(
63. "hdfs://localhost:9000/user/hadoop/",
64. "hdfs://localhost:9000/user/hadoop/merge.txt");
65. merge.doMerge();
66. }
67. }

OVER