NameNode和DataNode在HDFS中的作用是什么？

极客李华

已于 2024-02-01 01:14:49 修改

阅读量3.5k

点赞数 1

分类专栏： Hadoop 文章标签： hdfs hadoop 大数据

于 2023-09-12 11:20:12 首次发布

本文链接：https://blog.csdn.net/qq_51447496/article/details/132758222

版权

Hadoop 专栏收录该内容

10 篇文章

订阅专栏

作者简介：一名后端开发人员，每天分享后端开发以及人工智能相关技术，行业前沿信息，面试宝典。
座右铭：未来是不可确定的，慢慢来是最快的。
个人主页：极客李华-CSDN博客
合作方式：私聊+
这个专栏内容：BAT等大厂常见后端java开发面试题详细讲解，更新数目100道常见大厂java后端开发面试题。
我的CSDN社区：https://bbs.csdn.net/forums/99eb3042821a4432868bb5bfc4d513a8
微信公众号，抖音，b站等平台统一叫做：极客李华，加入微信公众号领取各种编程资料，加入抖音，b站学习面试技巧，职业规划

NameNode和DataNode在HDFS中的作用是什么？

在HDFS（Hadoop分布式文件系统）中，NameNode和DataNode是两个关键组件，扮演着不同的角色。

NameNode：
- NameNode是HDFS的主要组件之一，负责管理文件系统的命名空间和元数据。
- NameNode维护了整个文件系统的目录结构、文件和目录的属性信息，以及文件与块的映射关系。
- NameNode还负责处理客户端的文件系统操作请求，如创建、删除、重命名和移动文件等。
- NameNode将元数据存储在内存中，并将其持久化到磁盘上的命名空间镜像文件和编辑日志文件中，以实现持久化和容错性。
- NameNode还负责监视和管理DataNode的状态，并协调数据块的复制和故障恢复操作。
DataNode：
- DataNode是HDFS的另一个主要组件，负责存储实际的数据块。
- DataNode在本地磁盘上存储数据块，并根据NameNode的指示执行数据块的复制和删除操作。
- DataNode还负责定期向NameNode报告其存储的数据块信息，包括块的位置、大小和状态等。
- DataNode还负责处理客户端的数据读写请求，并与其他DataNode进行数据块的传输和复制。

下面是一个简单的示例代码，演示了NameNode和DataNode在HDFS中的作用：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HdfsExample {

  public static void main(String[] args) throws Exception {
    // 创建Hadoop配置对象
    Configuration conf = new Configuration();

    // 创建文件系统对象
    FileSystem fs = FileSystem.get(conf);

    // 在HDFS上创建一个目录
    Path dirPath = new Path("/user/mydir");
    fs.mkdirs(dirPath);

    // 在HDFS上创建一个文件，并写入数据
    Path filePath = new Path("/user/myfile.txt");
    FSDataOutputStream outputStream = fs.create(filePath);
    outputStream.writeBytes("Hello, HDFS!");
    outputStream.close();

    // 从HDFS上读取文件内容
    FSDataInputStream inputStream = fs.open(filePath);
    byte[] buffer = new byte[1024];
    int bytesRead = inputStream.read(buffer);
    String content = new String(buffer, 0, bytesRead);
    inputStream.close();

    System.out.println("File content: " + content);

    // 删除HDFS上的文件和目录
    fs.delete(filePath, false);
    fs.delete(dirPath, true);

    // 关闭文件系统对象
    fs.close();
  }
}