2024年【Hadoop大数据技术】——HDFS分布式文件系统（学习笔记(2)，BTAJ面试有关散列（哈希）表的面试题详解

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

练习题：客户端上传文件的时候哪项是正确的？（多选）
A、数据经过 NameNode 传递给 DataNode
B、客户端端将文件切分为多个Block，依次上传
C、客户端只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作
D、客户端发起文件上传请求，通过RPC与NameNode建立通讯。
答案：BD

🕤 2.2.2 HDFS读文件流程

以300MB大小的1.txt文件为例，介绍HDFS读文件流程

1. 客户端发起读取1.txt文件的请求，通过RPC与NameNode建立通讯。
2. NameNode检查元数据文件的系统目录树，即检查客户端是否有读取文件的权限，以及文件是否存在等。
3. 客户端按照就近原则从NameNode返回的Block列表读取Block。
4. 客户端将读取所有的Block按照顺序进行合并，最终形成1.txt文件，需要注意的是，如果文件过大导致NameNode无法一次性文件的所有Block列表返回客户端时，会分批次将Block列表返回客户端。

🕒 3. HDFS的Shell操作

HDFS Shell类似于Linux操作系统中的Shell，都是一种命令语言，可以完成对HDFS上文件和目录的一系列操作。

在HDFS集群日常使用的过程时，主要是通过Client Commands类型的HDFS Shell子命令操作HDFS，Hadoop提供了多种Client Commands类型的HDFS Shell子命令，包括dfs、envvars、classpath等，dfs主要用于操作HDFS的文件和目录，也是最常用的HDFS Shell子命令。

• -ls ：查看指定路径的目录结构
• -du：统计目录下所有文件大小
• -mv：移动文件
• -cp：复制文件
• -rm：删除文件/空白文件夹
• -cat：查看文件内容
• -text：源文件输出为文本格式
• -mkdir：创建空白文件夹
• -put：上传文件
• -help：删除文件/空白文件夹

🕒 4. 使用Eclipse开发调试HDFS Java程序

Hadoop采用Java语言开发的，提供了Java API与HDFS进行交互。上面介绍的Shell命令，在执行时实际上会被系统转换成Java API调用。

为了提高程序编写和调试效率，我们采用Eclipse工具编写Java程序。
现在要执行的任务是：假设在目录“hdfs://localhost:9000/user/hadoop”下面有几个文件，分别是file1.txt、file2.txt、file3.txt、file4.abc和file5.abc，这里需要从该目录中过滤出所有后缀名不为“.abc”的文件，对过滤之后的文件进行读取，并将这些文件的内容合并到文件“hdfs://localhost:9000/user/hadoop/merge.txt</