【Hadoop大数据技术】——HDFS分布式文件系统（学习笔记(3)

点击 “Download Packages”

选择对应的操作系统下载

注意选择国内镜像，下载速度才快

下载完成

在“Downloads”文件夹中空白处右键，选择“在终端打开”，输入命令，解压eclipse到/opt目录下：

sudo tar -zxvf eclipse-committers-2023-12-R-linux-gtk-x86_64.tar.gz -C /opt

在Linux系统中设置Eclipse快捷方式

sudo vim /usr/share/applications/eclipse.desktop

向eclipse.desktop中添加以下内容：

[Desktop Entry]
Encoding=UTF-8
Name=Eclipse
Comment=Eclipse IDE
Exec=/opt/eclipse/eclipse
Icon=/opt/eclipse/icon.xpm
Terminal=false
StartupNotify=true
Type=Application
Categories=Application;Developmet;

给eclipse.desktop赋权

cd /usr/share/applications
sudo chmod u+x eclipse.desktop

找到/usr/share/applications/eclipse.desktop，鼠标右键选择复制，到桌面粘贴即可。

注：高版本Ubuntu会有权限检查，如报错需要右键图标，选择“允许运行”

之后双击快捷方式打开即可。

🕘 4.2 在Eclipse中创建项目

启动Eclipse。当Eclipse启动以后，会弹出如下图所示界面，提示设置工作空间（workspace）。

可以直接采用默认的设置“/home/hadoop/workspace”，点击“OK”按钮。可以看出，由于当前是采用hadoop用户登录了Linux系统，因此，默认的工作空间目录位于hadoop用户目录“/home/hadoop”下。
Eclipse启动以后，会呈现如下图所示的界面。

关闭welcome界面后，选择“File–>New–>Java Project”菜单，开始创建一个Java工程，会弹出如下图所示界面。

在“Project name”后面输入工程名称“HDFSExample”，选中“Use default location”，让这个Java工程的所有文件都保存到“/home/hadoop/workspace/HDFSExample”目录下。在“JRE”这个选项卡中，可以选择当前的Linux系统中已经安装好的JDK，比如jdk1.8.0_371。然后，点击界面底部的“Next>”按钮，进入下一步的设置。

🕘 4.3 为项目添加需要用到的JAR包

进入下一步的设置以后，会弹出如下图所示界面。

需要在这个界面中加载该Java工程所需要用到的JAR包，这些JAR包中包含了可以访问HDFS的Java API。这些JAR包都位于Linux系统的Hadoop安装目录下，对于本文而言，就是在“/usr/local/hadoop/share/hadoop”目录下。点击界面中的“Libraries”选项卡，然后，点击界面右侧的“Add External JARs…”按钮，会弹出如下图所示界面。

为了编写一个能够与HDFS交互的Java应用程序，一般需要向Java工程中添加以下JAR包：
(1)“/usr/local/hadoop/share/hadoop/common”目录下的所有JAR包，包括hadoop-common-3.3.5.jar、hadoop-common-3.3.5-tests.jar、haoop-nfs-3.3.5.jar、haoop-kms-3.3.5.jar和hadoop-registry-3.3.5.jar，注意，不包括目录jdiff、lib、sources和webapps；
(2)“/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；
(3)“/usr/local/hadoop/share/hadoop/hdfs”目录下的所有JAR包，注意，不包括目录jdiff、lib、sources和webapps；
(4)“/usr/local/hadoop/share/hadoop/hdfs/lib”目录下的所有JAR包。

全部添加完毕以后，就可以点击界面右下角的“Finish”按钮，完成Java工程HDFSExample的创建。

🕘 4.4 编写Java应用程序

下面编写一个Java应用程序。
请在Eclipse工作界面左侧的“Package Explorer”面板中（如下图所示），找到刚才创建好的工程名称“HDFSExample”，然后在该工程名称上点击鼠标右键，在弹出的菜单中选择“New–>Class”菜单。

选择“New–>Class”菜单以后会出现如下图所示界面。

在该界面中，只需要在“Name”后面输入新建的Java类文件的名称，这里采用名称“MergeFile”，其他都可以采用默认设置，然后，点击界面右下角“Finish”按钮，Eclipse就自动创建了一个名为“MergeFile.java”的源代码文件，请在该文件中输入以下代码：

import java.io.IOException;
import java.io.PrintStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.\*;

/\*\*
 \* 过滤掉文件名满足特定条件的文件 
 \*/
class MyPathFilter implements PathFilter {
     String reg = null; 
     MyPathFilter(String reg) {
          this.reg = reg;
     }
     public boolean accept(Path path) {
        if (!(path.toString().matches(reg)))
            return true;
        return false;
    }
}
/\*\*\*
 \* 利用FSDataOutputStream和FSDataInputStream合并HDFS中的文件
 \*/
public class MergeFile {
    Path inputPath = null; //待合并的文件所在的目录的路径
    Path outputPath = null; //输出文件的路径
    public MergeFile(String input, String output) {
        this.inputPath = new Path(input);
        this.outputPath = new Path(output);
    }
    public void doMerge() throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://localhost:9000");
          conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create(inputPath.toString()), conf);
        FileSystem fsDst = FileSystem.get(URI.create(outputPath.toString()), conf);
                //下面过滤掉输入目录中后缀为.abc的文件
        FileStatus[] sourceStatus = fsSource.listStatus(inputPath,
                new MyPathFilter(".\*\\.abc")); 
        FSDataOutputStream fsdos = fsDst.create(outputPath);
        PrintStream ps = new PrintStream(System.out);
        //下面分别读取过滤之后的每个文件的内容，并输出到同一个文件中
        for (FileStatus sta : sourceStatus) {
            //下面打印后缀不为.abc的文件的路径、文件大小
            System.out.print("路径：" + sta.getPath() + " 文件大小：" + sta.getLen()
                    + " 权限：" + sta.getPermission() + " 内容：");
            FSDataInputStream fsdis = fsSource.open(sta.getPath());
            byte[] data = new byte[1024];
            int read = -1;

            while ((read = fsdis.read(data)) > 0) {
                ps.write(data, 0, read);
                fsdos.write(data, 0, read);
            }
            fsdis.close();          
        }
        ps.close();
        fsdos.close();
    }
    public static void main(String[] args) throws IOException {
        MergeFile merge = new MergeFile(
                "hdfs://localhost:9000/user/hadoop/",
                "hdfs://localhost:9000/user/hadoop/merge.txt");
        merge.doMerge();
    }
}

🕘 4.5 编译运行程序

在开始编译运行程序之前，请一定确保Hadoop已经启动运行，如果还没有启动，需要打开一个Linux终端，输入以下命令启动Hadoop，并检查是否都正常启动：

cd /usr/local/hadoop
./sbin/start-dfs.sh

然后，要确保HDFS的“/user/hadoop”目录下已经存在file1.txt、file2.txt、file3.txt、file4.abc和file5.abc，每个文件里面有内容。这里，假设文件内容如下：
file1.txt的内容是：this is file1.txt
file2.txt的内容是：this is file2.txt
file3.txt的内容是：this is file3.txt
file4.abc的内容是：this is file4.abc
file5.abc的内容是：this is file5.abc

我们可以在Windows端创建好文件，之后通过Win端的浏览器上传
浏览器输入： http://[虚拟机IP]:9870/

先创建好目录，再上传文件

注：如果遇到如下报错，需要修改权限

在终端输入：./bin/hdfs dfs -chmod -R 777 /

现在就可以编译运行上面编写的代码。可以直接点击Eclipse工作界面上部的运行程序的快捷按钮，当把鼠标移动到该按钮上时，在弹出的菜单中选择“Run As”，继续在弹出来的菜单中选择“Java Application”，如下图所示。

然后，会弹出如下图所示界面。

在该界面中，点击界面右下角的“OK”按钮，开始运行程序。程序运行结束后，会在底部的“Console”面板中显示运行结果信息（如下图所示）。同时，“Console”面板中还会显示一些类似“log4j:WARN…”的警告信息，可以不用理会。

如果程序运行成功，这时，可以到HDFS中查看生成的merge.txt文件

在终端查看：

在Web查看：

🕘 4.6 应用程序的部署

下面介绍如何把Java应用程序生成JAR包，部署到Hadoop平台上运行。首先，在Hadoop安装目录下新建一个名称为myapp的目录，用来存放我们自己编写的Hadoop应用程序，可以在Linux的终端中执行如下命令：

cd /usr/local/hadoop
mkdir myapp

然后，在Eclipse工作界面左侧的“Package Explorer”面板中，在工程名称“HDFSExample”上点击鼠标右键，在弹出的菜单中选择“Export”，如下图所示。

在弹出的界面中，选择“Runnable JAR file”，然后，点击“Next>”按钮，弹出如下图所示界面。

在该界面中，“Launch configuration”用于设置生成的JAR包被部署启动时运行的主类，需要在下拉列表中选择刚才配置的类“MergeFile-HDFSExample”。在“Export destination”中需要设置JAR包要输出保存到哪个目录，比如，这里设置为“/usr/local/hadoop/myapp/HDFSExample.jar”。在“Library handling”下面选择“Extract required libraries into generated JAR”。然后，点击“Finish”按钮，之后会出现一些警告信息，点击OK无视即可。

至此，已经顺利把HDFSExample工程打包生成了HDFSExample.jar。可以到Linux系统中查看一下生成的HDFSExample.jar文件，可以在Linux的终端中执行如下命令：

可以看到，“/usr/local/hadoop/myapp”目录下已经存在一个HDFSExample.jar文件。
由于之前已经运行过一次程序，已经生成了merge.txt，因此，需要首先执行如下命令删除该文件：

cd /usr/local/hadoop
./bin/hdfs dfs -rm /user/hadoop/merge.txt

现在，就可以在Linux系统中，使用hadoop jar命令运行程序，并到HDFS中查看生成的merge.txt文件：

cd /usr/local/hadoop
./bin/hadoop jar ./myapp/HDFSExample.jar
./bin/hdfs dfs -cat /user/hadoop/merge.txt

注：如果遇到如下图报错

说明是由较高版本的JDK编译的java class文件试图在较低版本的JVM上运行产生的错误，可以通过下述方法进行解决：
1、检查jvm（java命令）和jdk（javac命令）版本是否一致。如果是linux版本，则在命令行中分别输入java -version和javac -version命令来查看版本是否一致。
2、如果都一致，但还是解决不了问题，那么肯定不是直接在命令行中用javac来编译的，而是用类似于eclipse、netbeans这样的编译器来编译的。因为很多编译器都自带javac，而不是采用操作系统中的编译器。
3、如果你的编译器是eclipse的话，那么需要在项目的属性里设置jdk版本，方法是右击项目–>properties–>java compiler --> Enable project specific settings -->将compiler compliance level设置为1.8，即可解决问题。

---

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

)

---

[外链图片转存中…(img-9LII5BYs-1714433836049)]
[外链图片转存中…(img-YvUiXlBp-1714433836049)]
[外链图片转存中…(img-gWkAtgtG-1714433836050)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取