IDEA如何导入hadoop源码和HDFS的目录结构分析

1.HDFS源码结构分析

1.1 IDEA导入hadoop源码

hadoop源码的下载地址为(https://archive.apache.org/dist/hadoop/common/)
这个网站给出hadoop的所有发行版本可以根据自己的需求下载。

我在这里下载的hadoop 3.1.4，下载后解压到本地。

然后打开idea导入项目就行了，这里要注意配置maven，而且maven的存放目录不要和hadoop放在一起，而且要根据hadoop的版本来下载对象的maven，我这里下载的maven-3.9.4，关于maven的下载和配置可以自行搜索相关文章进行配置。（注意版本不会下载依赖时会报错，这时个大坑，下载依赖报错一下弄了一天！）
然后在idea中配置maven的本地路径。
然后打开maven刷新下载依赖，只需要静静等待就行，可能会需要十几分钟的时间，如果爆红就代表相关的插件和依赖没导进来，关闭重启再试几次，不行就下载其他的maven版本。

1.2 HDFS工程结构和作用

1.2.1 hadoop-hdfs-project模块

这个模块主要实现了网络、传输协议、JN、安全、server服务、数据块的存储策略等相关功能。是 hdfs 的核心模块。并且提供了 hdfs web UI 页面功能的支撑。

1.2.2 haoop-hdfs-client模块

在hadoop-hdfs-client模块中，主要定义实现了和 hdfs 客户端相关的功能逻辑，比如创建文件夹、写数据和读数据，都是通过这个模块和datanode和namenode进行交互的，底层使用的是RPC协议。

1.2.3 hadoop-hdfs-httpfs模块

hadoop-hdfs-httpfs模块主要实现了通过HTTP协议操作访问hdfs文件系统的相关功能。HttpFS 是一种服务器，它提供到 HDFS 的 REST HTTP 网关，具有完整的文件系统读写功能。
  HttpFS 可用于在运行不同Hadoop版本的群集之间传输数据（克服 RPC 版本问题），例如使用 Hadoop DistCP。

1.2.4 hadoop-hdfs-native-client模块

这个模块定义了hdfs访问本地库的相关功能和逻辑。该模块主要是使用 C 语言进行编写，用于和本地库进行交互操作。

1.2.5 hadoop-hdfs-nfs模块

这模块是Hadoop HDFS的NFS实现。

1.2.6 hadoop-hdfs-rbf

这个模块是 hadoop3.0 之后的一个新的模块。主要实现了 RBF 功能。RBF 是 Router-based Federation 简称，翻译中文叫做：基于路由的 Federation 方案。
  简单来说就是：HDFS 将路由信息放在了服务端来处理，而不是在客户端。以此完全做到对于客户端的透明。

1.3 编写Java API 来执行读写流程

具体的Java代码如下：

#写操作
package com.atguigu.hdfs;

import org.apache.commons.io.IOUtils;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;

import java.io.FileInputStream;

import org.apache.hadoop.fs.*;

public class HDFSWriteDemo {
    public static void main(String[] args)throws Exception {
        //设置客户用户身份：root 具备在hdfs读写权限
        System.setProperty("HADOOP_USER_NAME","root");
        //创建conf对象
        Configuration conf= new Configuration();
        //设置操作的文件系统是HDFS默认是file:///
        conf.set("fs.defaultFS","hdfs://hadoop102:8020");
        //创建FileSystem对象，是一个通用的文件系统的抽象基类
        FileSystem fs = FileSystem.get(conf);
        //设置文件输出的路径
        Path path = new Path("/helloworld.txt");
        //调用create方法创建文件
        FSDataOutputStream out = fs.create(path);
        //创建本地文件输入流
        FileInputStream in = new FileInputStream("D:\\datasets");
        //IO工具类实现流对拷贝
        IOUtils.copy(in,out);
        //关闭连接
        fs.close();
    }
}
#读操作
package com.atguigu.hdfs;

import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.FileInputStream;
import java.io.FileOutputStream;

public class HDFSReadDemo {
    public static void main(String[] args) throws Exception {
        //设置客户用户身份：root 具备在hdfs读写权限
        System.setProperty("HADOOP_USER_NAME","root");
        //创建conf对象
        Configuration conf= new Configuration();
        //设置操作的文件系统是HDFS默认是file:///
        conf.set("fs.defaultFS","hdfs://hadoop102:8020");
        //创建FileSystem对象，是一个通用的文件系统的抽象基类
        FileSystem fs = FileSystem.get(conf);
        //设置文件输出的路径
        Path path = new Path("/helloworld.txt");
        //调用open方法创建文件
        FSDataInputStream in = fs.open(path);
        //创建本地文件输输出流
        FileOutputStream out = new FileOutputStream("D:\\datasets");
        //IO工具类实现流对拷贝
        IOUtils.copy(in,out);
        //关闭连接
        fs.close();
    }
}

注意要分析源码首先hadoop的分布式环境已经搭建好了。